[論文レビュー] Exploratory Combinatorial Optimization with Reinforcement Learning

Thomas D. Barrett, William R. Clements+2 more|arXiv (Cornell University)|Sep 9, 2019

Metaheuristic Optimization Algorithms Research参考文献 35被引用数 21

ひとこと要約

本稿では、解を不可逆的に構築する従来の手法とは異なり、解部分集合から頂点を動的に追加または削除することで段階的に解を改善できる、探索的組合せ最適化のための強化学習フレームワークであるECO-DQNを提案する。この手法は、グラフニューラルネットワークを活用して探索をガイドすることで、最大カット問題において最先端の性能を達成し、未学習のグラフ分布に対しても優れた一般化性能を示す。

ABSTRACT

Many real-world problems can be reduced to combinatorial optimization on a graph, where the subset or ordering of vertices that maximize some objective function must be found. With such tasks often NP-hard and analytically intractable, reinforcement learning (RL) has shown promise as a framework with which efficient heuristic methods to tackle these problems can be learned. Previous works construct the solution subset incrementally, adding one element at a time, however, the irreversible nature of this approach prevents the agent from revising its earlier decisions, which may be necessary given the complexity of the optimization task. We instead propose that the agent should seek to continuously improve the solution by learning to explore at test time. Our approach of exploratory combinatorial optimization (ECO-DQN) is, in principle, applicable to any combinatorial problem that can be defined on a graph. Experimentally, we show our method to produce state-of-the-art RL performance on the Maximum Cut problem. Moreover, because ECO-DQN can start from any arbitrary configuration, it can be combined with other search methods to further improve performance, which we demonstrate using a simple random search.

研究の動機と目的

• 既存の強化学習ベースの組合せ最適化手法における解の構築が不可逆であるという制限に対処すること。
• テスト時においても、解集合からの頂点の追加および削除を許容することで、エージェントが解を探索・改善できるようにすること。
• 解が頂点の部分集合である任意のグラフベースの組合せ最適化問題に適用可能な柔軟なフレームワークを構築すること。
• 継続的な探索と動的意思決定を通じて、最大カット問題における性能を向上させること。
• 未学習のグラフ分布への一般化能力および他の探索ヒューリスティクスとの互換性を示すこと。

提案手法

• フレームワークは、グラフ構造を符号化し、各頂点のQ値を計算するためにメッセージパッシングニューラルネットワーク（MPNN）を用いた深層Qネットワーク（DQN）を採用する。
• 各ステップで、エージェントは現在の解集合に頂点を追加するか、削除するかを選択し、逆転可能で探索的な行動を可能にする。
• 各頂点のQ値は、近隣の情報とグローバルなグラフ状態を統合したグラフ埋め込みを用いて計算される。
• MPNNは、局所的近隣とエッジ特徴に基づいて頂点埋め込みを更新するため、学習可能な重みを用いて3ラウンドのメッセージパッシングを実行する。
• Q値ヘッドは、グローバルなグラフ埋め込みと個々の頂点埋め込みを組み合わせて、行動価値を予測する。
• 学習は経験再生、ターゲットネットワーク、クリッピングされたQ値予測を用いて安定化される。

実験結果

リサーチクエスチョン

• RQ1 推論時に逆転可能な意思決定を許容することで、強化学習エージェントが組合せ最適化問題でより優れた性能を達成できるか？
• RQ2 不可逆的で段階的な構築とは対照的に、動的かつ柔軟に解空間を探索できる能力が、解の品質向上に寄与するか？
• RQ3 提案されたECO-DQNフレームワークは、学習時に見ていたものとは異なるサイズや構造のグラフに対しても一般化できるか？
• RQ4 最大カット問題において、ECO-DQNはS2V-DQNという先行の最先端手法と比較してどのように性能を発揮するか？
• RQ5 ECO-DQNは、ランダム初期化などの他の探索ヒューリスティクスと効果的に組み合わせられるか？

主な発見

• ECO-DQNは、最大カット問題において、S2V-DQNベースラインを上回る最先端の性能を達成した。
• 性能向上の要因は、エージェントが過去の意思決定を逆転でき、解空間を動的に探索できる能力に起因する。
• ECO-DQNは、2000頂点までのグラフに対し、学習時に使用したより小さい・異なる構造のグラフでも良好な一般化性能を示した。
• S2V-DQNと同程度のステップあたりの計算コストを維持しており、500頂点のグラフでは1回の行動あたり6.64±0.09 msの時間であった。
• ランダム初期化と組み合わせることで、ECO-DQNの性能は顕著に向上し、他の探索戦略とも相性が良いことが示された。
• アブレーションスタディの結果、逆転可能な行動と適切な報酬設計の両方が、観察された性能向上に不可欠であることが確認された。