[論文レビュー] Revised Note on Learning Algorithms for Quadratic Assignment with Graph Neural Networks

Alex Nowak, Soledad Villar+2 more|arXiv (Cornell University)|Jun 22, 2017

Data Mining Algorithms and Applications被引用数 16

ひとこと要約

本論文は、NP困難な2次割当問題（QAP）を解くためのアルゴリズムを学習するデータ駆動型アプローチを提案する。グラフニューラルネットワーク（GNN）を用いることで、半定値計画法（SDP）やLowRankAlignといった従来の緩和手法よりも優れた性能を示しており、計算リソースが限られた状況下でも同様の結果を得ており、平均ケースの設定においてGNNがより優れた精度-複雑度トレードオフを達成できる可能性を示唆している。

ABSTRACT

Inverse problems correspond to a certain type of optimization problems formulated over appropriate input distributions. Recently, there has been a growing interest in understanding the computational hardness of these optimization problems, not only in the worst case, but in an average-complexity sense under this same input distribution. In this revised note, we are interested in studying another aspect of hardness, related to the ability to learn how to solve a problem by simply observing a collection of previously solved instances. These 'planted solutions' are used to supervise the training of an appropriate predictive model that parametrizes a broad class of algorithms, with the hope that the resulting model will provide good accuracy-complexity tradeoffs in the average sense. We illustrate this setup on the Quadratic Assignment Problem, a fundamental problem in Network Science. We observe that data-driven models based on Graph Neural Networks offer intriguingly good performance, even in regimes where standard relaxation based techniques appear to suffer.

研究の動機と目的

• データ駆動型学習によるGNNが、平均ケースの設定において2次割当問題（QAP）を効果的に解けるかどうかを調査すること。
• 特定の入力分布から抽出されたQAPインスタンスに対して、GNNの性能を従来の緩和手法（例：SDP、スペクトル法）と比較すること。
• 簡略化されたGNNアーキテクチャの最適化のありやすさを分析し、QAPの学習の難易度を検討すること。
• 分布的仮定のもとで、GNNが既知の計算のしきい値に達するか、それを上回るアルゴリズムを学習できるかどうかを理解すること。
• 小さいインスタンスで学習したGNNベースのソルバーが、より大きな未観測の入力に一般化・スケーリングできるかどうかを調査すること。

提案手法

• 問題は、Xが置換行列である制約のもとで、trace(AXBX^T)を最大化するグラフベースの最適化問題として定式化される。
• 20層、各層に20の特徴マップを持つGNNアーキテクチャが使用され、ノード次数または2ホップ次数の埋め込みで初期化される。
• 20,000個のQAPインスタンスからなるデータセット上で、予測値と埋め込まれた（真の）解との間の経験的損失を最小化するように、確率的勾配降下法でモデルを訓練する。
• GNNは、隣接行列とラプラシアン行列といったグラフ作用素の線形結合と、点ごとの非線形関数を交互に適用することで、非線形なメッセージパッシングをモデル化する。
• 実験は2つのグラフモデルで実施される：埋め込まれた同型性を有するエレドシュ＝レニャイのランダムグラフと、摂動を加えた正則グラフ。
• GNNの性能は、配置精度と計算コストの両面で、SDP緩和（[33]より）とLowRankAlign（[9]より）と比較される。

実験結果

リサーチクエスチョン

• RQ1 GNNは、同じ入力分布から抽出された新しいインスタンスに一般化可能な効果的なQAP解法を学習できるか？
• RQ2 精度と計算効率の観点から、GNNベースのソルバーは、従来の緩和手法（例：SDP、スペクトルアライメント）と比較してどの程度優れているか？
• RQ3 GNNアーキテクチャの最適化のありやすさは、QAPにおける統計的・計算的しきい値を支配する同じ測度集中現象にどの程度影響を受けるか？
• RQ4 特に対称的またはアライメントが難しいグラフ構造において、GNNは理論的な統計的・計算的しきい値に近い解を学習できるか？
• RQ5 GNNがより大きな入力に一般化できる能力は、学習分布のサイズに依存するのか。その一般化にはどのような制限があるのか？

主な発見

• エレドシュ＝レニャイのランダムグラフ（埋め込まれた同型性あり）において、GNNベースのアプローチはSDP緩和およびLowRankAlignを配置精度の面で上回った。
• より対称的かつ困難とされる摂動を加えた正則グラフでは、GNNは安定的で特徴的な特徴を効果的に抽出し、非学習可能なベースラインよりも優れた性能を示した。
• 計算リソースが限られた状況下でもGNNは優れた性能を示しており、平均ケースの設定において、望ましい精度-複雑度トレードオフを達成している可能性を示唆している。
• 最適化のありやすさの分析から、GNNのありやすさの複雑さは、QAPにおける統計的難易度を支配する同じ測度集中現象によって制御されていることが明らかになった。
• 結果から、GNNは最適に近いしきい値に近いアルゴリズムを学習できる可能性があるが、コミュニティが多数存在するか、高い対称性を持つ問題では性能のギャップが依然として残っている。
• 本研究は、小さいインスタンスで学習したGNNが、大きな入力に一般化しにくい可能性を示しており、非漸近的一般化境界の必要性を強調している。