[論文レビュー] Solving NP-Hard Problems on Graphs with Extended AlphaGo Zero

Kenshin Abe, Zijian Xu+2 more|arXiv (Cornell University)|May 28, 2019

Reinforcement Learning in Robotics参考文献 32被引用数 20

ひとこと要約

この論文は、AlphaGo Zeroをインspirationとして、NP困難なグラフ問題を従来の手法よりも効果的に解くための強化学習フレームワーク、CombOpt Zeroを提案する。Q学習に代えてモンテカルロ木探索（MCTS）を採用し、ランダムサンプリングによる報酬の正規化を施すことで、多様なグラフタイプにわたる一般化性能が向上し、サンプル効率も向上した。MaxCut や最小頂点被覆問題において、S2V-DQNを上回る性能を発揮した。

ABSTRACT

There have been increasing challenges to solve combinatorial optimization problems by machine learning. Khalil et al. proposed an end-to-end reinforcement learning framework, S2V-DQN, which automatically learns graph embeddings to construct solutions to a wide range of problems. To improve the generalization ability of their Q-learning method, we propose a novel learning strategy based on AlphaGo Zero which is a Go engine that achieved a superhuman level without the domain knowledge of the game. Our framework is redesigned for combinatorial problems, where the final reward might take any real number instead of a binary response, win/lose. In experiments conducted for five kinds of NP-hard problems including {\sc MinimumVertexCover} and {\sc MaxCut}, our method is shown to generalize better to various graphs than S2V-DQN. Furthermore, our method can be combined with recently-developed graph neural network (GNN) models such as the \emph{Graph Isomorphism Network}, resulting in even better performance. This experiment also gives an interesting insight into a suitable choice of GNN models for each task.

研究の動機と目的

• Q学習における探索の限界により、実世界のグラフや合成グラフなど構造の異なるグラフに対してS2V-DQNが一般化に劣ることを是正する。
• AlphaGo ZeroのMCTSベースの学習を、単なる勝敗の二値報酬ではなく、連続的または実数値の報酬を持つ組合せ最適化問題に拡張する。
• 自己対戦と木探索を訓練時および推論時に活用することで、NP困難なグラフ問題におけるサンプル効率と解の品質を向上させる。
• CombOpt Zeroが現代のグラフニューラルネットワーク（GNN）アーキテクチャ（例：グラフ同型性ネットワーク）と互換性を持つことを調査する。
• 訓練時にランダムグラフ上で自己対戦を行うことで、MaxCutの木構造における深さ優先探索に類似した色分けヒューリスティクスを効果的に学習できるかどうかを実証する。

提案手法

• S2V-DQNが採用するQ学習に代わり、AlphaGo Zeroをインスピレーションとする独自の訓練戦略を採用し、自己対戦の軌道をモンテカルロ木探索（MCTS）で生成する。
• 実数値報酬の正規化にランダムサンプリングを用いることで、AlphaGo Zeroの二値勝敗フレームワークを、組合せ最適化で一般的な連続的報酬設定に適応する。
• 状態を、アクション（例：ノードの色分けや選択）の選択によって変化するラベル付きグラフとして定義し、問題の制約に従って状態遷移を制御する。
• S2Vやグラフ同型性ネットワークなどのGNNを用いて、現在のグラフ状態を埋め込み、アクションの確率と価値推定を予測する。
• 自己対戦とMCTSのロールアウトを用いてポリシーと価値ネットワークを訓練し、最終的な報酬に基づくポリシー損失と価値損失を用いてネットワークを更新する。
• 推論時にMCTSを有効化することで、特定の問題においてより優れた性能を保証し、解の品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MCTSベースの訓練が、S2V-DQNのようなQ学習ベース手法に比べて、未学習のグラフタイプに一般化できるか？
• RQ2 実数値報酬の正規化が、組合せ最適化におけるAlphaGo Zero風の訓練の性能と安定性に与える影響は？
• RQ3 高度なGNN（例：グラフ同型性ネットワーク）と組み合わせたCombOpt Zeroが、解の品質と一般化性能をどの程度向上できるか？
• RQ4 ランダムグラフ上で自己対戦を行うことで、問題固有のヒューリスティクス（例：木構造における深さ優先探索に類似した色分け）が暗黙的に学習されるか？
• RQ5 同じハードウェアと時間予算で訓練した場合、CombOpt Zeroのサンプル効率はS2V-DQNに比べてどの程度優れているか？

主な発見

• MCTSによる強化された探索のおかげで、Erdős–Rényi、Barabási–Albert、および実世界のグラフを含む多様なグラフタイプにおいて、CombOpt ZeroはS2V-DQNに比べて顕著に優れた一般化性能を示した。
• 4つのGPUで2時間のトレーニングで生成された5,000件の軌道のみで収束に至り、約2,000件のデータサンプルで十分だった。これは、S2V-DQNが約50,000件のサンプルを必要としたのに対し、はるかに高いサンプル効率を示している。
• MaxCutにおいては、最先端のヒューリスティクスソルバーと同等の性能を達成した。特に木構造では、深さ優先探索に類似した最適な2色分け戦略を学習していた。
• CombOpt ZeroのMCTS推論は、特定の問題において解の品質を顕著に向上させ、グリーディ推論よりも優れた結果を保証した。
• CombOpt Zeroにグラフ同型性ネットワークを組み合わせることで、顕著な性能向上が得られた。これは、タスクに応じたGNNアーキテクチャ選定の重要性を示している。
• 可視化の結果、CombOpt Zeroは隣接ノードに交互に色を塗る戦略を学習しており、長距離メッセージパッシング（5ホップの受容 field）を活用してノードをスキップする能力も示しており、適応的かつ柔軟な戦略学習が可能であることがわかった。