[論文レビュー] Learning What to Defer for Maximum Independent Sets

Sungsoo Ahn, Younggyo Seo+1 more|ArXiv.org|Jun 17, 2020

Scheduling and Optimization Algorithms被引用数 5

ひとこと要約

本稿では、大規模な最大独立集合（MIS）問題におけるスケーラビリティを向上させるために、エージェントが複数ステップにわたり頂点の意思決定を延期できるようにすることで、要素単位の選択をバッチ処理可能にする、学習による延期（LwD）という深層強化学習フレームワークを提案する。LwDはMIS問題において最先端の性能を達成し、整数二次計画法に失敗する問題においてもCPLEXを上回る性能を発揮する。

ABSTRACT

Designing efficient algorithms for combinatorial optimization appears ubiquitously in various scientific fields. Recently, deep reinforcement learning (DRL) frameworks have gained considerable attention as a new approach: they can automate the design of a solver while relying less on sophisticated domain knowledge of the target problem. However, the existing DRL solvers determine the solution using a number of stages proportional to the number of elements in the solution, which severely limits their applicability to large-scale graphs. In this paper, we seek to resolve this issue by proposing a novel DRL scheme, coined learning what to defer (LwD), where the agent adaptively shrinks or stretch the number of stages by learning to distribute the element-wise decisions of the solution at each stage. We apply the proposed framework to the maximum independent set (MIS) problem, and demonstrate its significant improvement over the current state-of-the-art DRL scheme. We also show that LwD can outperform the conventional MIS solvers on large-scale graphs having millions of vertices, under a limited time budget.

研究の動機と目的

• 大規模な組合せ最適化問題における、従来の深層強化学習（DRL）ソルバーのスケーラビリティの制限を解決すること、特に1ステップあたり1頂点ずつ決定を行うグリーディなプロセスによる制限を克服すること。
• 解のサイズに比例して計算コストが増加するDRLソルバーの計算ボトルネックを解消し、適応的で複数ステップにわたる意思決定を可能にする。
• 独立集合への頂点所属をいつ決定し、いつ延期するかを学習するDRLフレームワークを設計し、サーベイプロパゲーションと局所的分解可能性にインspiredする。
• 時間制限下での評価性能を向上させるために、訓練中に解の多様性を向上させるために、新しい多様化報酬メカニズムを導入すること。
• 提案手法が、数百万頂点を有する大規模グラフにおいて、従来のヒューリスティックソルバーや既存のDRLベースラインを上回ることを実証すること。

提案手法

• エージェントが未決定の頂点に対して、独立集合への割り当てまたは意思決定の延期を実行するマルコフ決定過程（MDP）としてMIS問題を定式化する。
• エージェントが即時の意思決定をスキップできる新しい「延期」アクションを導入し、複数ステップにわたる意思決定のバッチ処理を可能にする。
• 2つの解を生成し、それらの乖離を最大化するように設計された、結合されたポリシーを持つマルチエージェントMDPフレームワークを構築し、解の多様性を促進するためのℓ₁ベースの多様化報酬を用いる。
• 訓練中に解の多様性を高めるために、2つのエージェントの途中段階における頂点状態の差を明示的に報酬化する多様化ボーナスを導入し、一般化性能と最終的な解の品質を向上させる。
• エージェントを段階的な学習（curriculum learning）を用いて訓練し、徐々に複雑さが増すグラフにさらなる。
• グラフニューラルネットワーク（GNN）を用いて頂点特徴量と局所的近傍構造を符号化し、エージェントが局所的妥当性とグローバル構造を推論できるようにする。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントは、大規模なMIS問題の解法に必要なステップ数を削減するために、頂点の意思決定を延期する能力を学習できるか？
• RQ2 意思決定の延期を学習することで、1ステップあたり1頂点ずつ決定を行う従来のDRLベースラインと比較して、収束速度が速くなり、解の品質が向上するか？
• RQ3 2つの結合エージェントの解の乖離を最大化する多様化報酬メカニズムは、一般化性能と時間制限下での性能向上に寄与するか？
• RQ4 提案手法LwDは、整数二次計画法（IQP）の制限により失敗する場合に特に、大規模グラフにおいて従来のソルバー（CPLEX）をどれほど上回るか？
• RQ5 LwDフレームワークは、MISに限定されず、MWIS、PCMIS、MAXCUT、イジングモデルなど、他の局所的分解可能な組合せ最適化問題にも一般化可能か？

主な発見

• LwDは、エルデシュ＝レニイ、バラバシ＝アラン、SATLIB、および実世界のグラフを含む、すべてのテスト対象グラフタイプにおいて、現在の最先端DRLベースラインを著しく上回る性能を発揮する。
• LwDの性能は、時間予算（つまり最大ステップ数T）が増加するにつれて単調に向上する。これは、意思決定の延期が解の品質を向上させることを確認する。
• 提案された多様化報酬は、エントロピー正則化と比較して、結合エージェントの最終解のℓ₁乖離を顕著に大きくしている。
• 5秒の時間制限下で、LwDは最大重み独立集合（MWIS）、報酬収集型MIS（PCMIS）、MAXCUT、イジングモデル推論問題においてCPLEXを上回る性能を発揮する。特に、CPLEXがIQPの複雑さにより失敗する大規模グラフにおいて顕著な優位性を示す。
• ER-[400,500] グラフにおいて、CPLEXはPCMIS、MAXCUT、イジング問題に対して妥当な解を生成できなかったが、LwDは一貫して高品質な解を生成した。
• 多様化ボーナスとエントロピー正則化を併用することで最良の性能が得られ、DRLベースのソルバーにおいて、探索と解の多様性の両方が高品質な一般化に不可欠であることを示している。