[論文レビュー] Solving NP-Hard Problems on Graphs by Reinforcement Learning without Domain Knowledge.

Kenshin Abe, Zijian Xu+2 more|arXiv (Cornell University)|May 28, 2019

Advanced Graph Neural Networks参考文献 2被引用数 21

ひとこと要約

本論文は、ドメイン知識を必要とせず、AlphaGo Zeroの自己対戦と木探索にインspiredされた強化学習フレームワークを提案する。連続的報酬への適応とグラフ同型性ネットワーク（GNN）の統合により、5つのNP困難な問題において、S2V-DQNを上回る優れた汎化性能を達成した。

ABSTRACT

There have been increasing challenges to solve combinatorial optimization problems by machine learning. Khalil et al. proposed an end-to-end reinforcement learning framework, S2V-DQN, which automatically learns graph embeddings to construct solutions to a wide range of problems. To improve the generalization ability of their Q-learning method, we propose a novel learning strategy based on AlphaGo Zero which is a Go engine that achieved a superhuman level without the domain knowledge of the game. Our framework is redesigned for combinatorial problems, where the final reward might take any real number instead of a binary response, win/lose. In experiments conducted for five kinds of NP-hard problems including {\sc MinimumVertexCover} and {\sc MaxCut}, our method is shown to generalize better to various graphs than S2V-DQN. Furthermore, our method can be combined with recently-developed graph neural network (GNN) models such as the \emph{Graph Isomorphism Network}, resulting in even better performance. This experiment also gives an interesting insight into a suitable choice of GNN models for each task.

研究の動機と目的

• 手作業で設計された特徴量やドメイン特化ルールに依存せずに、多様なNP困難な組合せ最適化問題をグラフ上で解く挑戦に応えること。
• 解の質を反映する連続的報酬に適応したAlphaGo Zeroの自己対戦とモンテカルロ木探索を組み合わせることで、異なるグラフ構造間での汎化性能を向上させること。
• グラフ同型性ネットワーク（GIN）などの現代的なグラフニューラルネットワークを統合し、表現学習と解の質を向上させること。
• 異なる最適化タスクにおけるGNNアーキテクチャの選択がパフォーマンスに与える影響を調査すること。

提案手法

• 解の質を反映する連続的実数報酬に置き換えることで、AlphaGo Zeroフレームワークを組合せ最適化に適応する。
• 深層Q学習エージェントを用い、解を構築するために反復的にグラフのノードまたはエッジを選択する。価値関数の近似にはニューラルネットワークを活用する。
• 人間の示唆やドメイン特化報酬形状なしに、自己対戦トレーニングとモンテカルロ木探索を用いて探索をガイドし、方策を改善する。
• 表現力のある置換同変グラフ表現を学習するために、バックボーンとしてグラフ同型性ネットワーク（GIN）を統合する。
• エージェントをエンドツーエンドでトレーニングし、解の構築プロセス全体における累積報酬を最適化する方策勾配更新を用いる。
• 訓練中に段階的にグラフの複雑さを増やすカリキュラム学習を適用し、収束性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン知識なしにトレーニングされた強化学習フレームワークは、多様なNP困難なグラフ問題に一般化可能か？
• RQ2 AlphaGo Zeroの自己対戦と木探索を連続的報酬設定に適応させることで、組合せ最適化における解の質にどのような影響を与えるか？
• RQ3 グラフ同型性ネットワークの使用が、提案手法のパフォーマンスと一般化性能に与える影響は何か？
• RQ4 GNNアーキテクチャの選択が、異なる最適化タスクにおける解の質に与える影響は何か？

主な発見

• 提案手法は、最小点被覆やMaxCutを含む、多様なグラフタイプにおける5つのNP困難問題において、S2V-DQNを大きく上回る優れた一般化性能を示した。
• 強化学習フレームワークとグラフ同型性ネットワークを統合することで、他のGNNバリアントと比較して解の質が向上した。
• ドメイン特化報酬形状や人間が設計した特徴量を一切使用せず、全テスト問題で競争的または優れた解の質を達成した。
• アブレーションスタディにより、自己対戦と連続的報酬学習の組み合わせが一般化性能と収束速度を向上させることを確認した。