[論文レビュー] Learning Heuristics over Large Graphs via Deep Reinforcement Learning

Sahil Manchanda, Akash Mittal+4 more|arXiv (Cornell University)|Mar 8, 2019

Advanced Graph Neural Networks参考文献 40被引用数 70

ひとこと要約

GCOMBは、剪定ベースのグラフ畳み込みネットワークとQ学習モジュールを組み合わせ、グラフ上の予算制約付き集合問題に対するスケーラブルなヒューリスティックを学習します。影響最大化などのタスクで、ソリューション品質を維持または向上させつつ、巨大なスピードアップを実現します。

ABSTRACT

There has been an increased interest in discovering heuristics for combinatorial problems on graphs through machine learning. While existing techniques have primarily focused on obtaining high-quality solutions, scalability to billion-sized graphs has not been adequately addressed. In addition, the impact of budget-constraint, which is necessary for many practical scenarios, remains to be studied. In this paper, we propose a framework called GCOMB to bridge these gaps. GCOMB trains a Graph Convolutional Network (GCN) using a novel probabilistic greedy mechanism to predict the quality of a node. To further facilitate the combinatorial nature of the problem, GCOMB utilizes a Q-learning framework, which is made efficient through importance sampling. We perform extensive experiments on real graphs to benchmark the efficiency and efficacy of GCOMB. Our results establish that GCOMB is 100 times faster and marginally better in quality than state-of-the-art algorithms for learning combinatorial algorithms. Additionally, a case-study on the practical combinatorial problem of Influence Maximization (IM) shows GCOMB is 150 times faster than the specialized IM algorithm IMM with similar quality.

研究の動機と目的

• 大規模グラフ上のNP困難な組合せ最適問題に対して、効果的なヒューリスティックの学習を動機づける。
• 十億規模のグラフを扱えるスケーラブルなフレームワークを開発する。
• 有望なノードに計算を集中させるため、監視付き剪定と強化学習を統合する。
• 影響最大化（IM）を含む複数の予算制約問題で有効性を示す。
• 従来の学習ベース手法に対する実用的なスケーラビリティの利点を示す。

提案手法

• 2段階のアーキテクチャ：優良ノードの剪定と埋め込みのためのグラフ畳み込みネットワーク（GCN）を用い、続いて最終解集合を選択するQ学習モジュールを使用する。
• 確率的なグリーディSamplingを用いて多様な訓練解を生成し、限界利得を用いてノード品質スコアを取得する。
• 軽量なノイズ予測器を初層のGCN特徴量を用いてノイズの多いノードを高価な計算前に剪定する。
• 状態を候補集合、行動をノード追加、報酬を目的関数の限界利得とするQ学習の定式化。
• ノードの局所性計算コストを削減するため、重要度サンプリングによる効率的な局所性推定。
• 訓練は監視学習（ノード品質予測）と強化学習（最適ノード選択）を組み合わせる。
• 推論はまずGCNを1回前方伝播させ、次に剪定された候補集合に対してQ学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 混合された監視付き学習と強化学習のフレームワークは、十億規模のグラフにスケールし、予算制約付き集合の組合せ問題を解くことができるか？
• RQ2 ノイズの多いノードを剪定し高品質な候補に対して強化学習を集中的に適用することは、エンドツーエンドアプローチよりもスケーラビリティと解の品質を向上させるか？
• RQ3 GCOMBは異なる問題インスタンス（IM、MCP、MVC）で、最先端の学習ベースおよび非学習ベースと比較してどう性能を発揮するか？
• RQ4 確率的グリーディ訓練と重要度サンプリングを使用する場合の精度と速度のトレードオフは何か？

主な発見

• GCOMBは従来の最先端の学習ベース手法よりもはるかに高速（最大100倍）で、しばしばより高品質な解を生み出す。
• 影響最大化のケーススタディでは、GCOMBはIMMより約150倍速く、解の品質は同等に近い。
• S2V-DQNおよびGCN-TreeSearchと比べ、GCOMBは品質がわずかに上回るか競争力があり、スケーラビリティは格段に優れている。
• 重要度サンプリングとノイズ予測器は、計算時間を大幅に削減しつつ、解の品質を損なうことはなく、場合によっては改善する。
• GCOMBは、競合手法がスケールできない実世界の十億サイズグラフでも有効である。