[論文レビュー] A Note on Learning Algorithms for Quadratic Assignment with Graph Neural Networks.

Alex Nowak, Soledad Villar+2 more|arXiv (Cornell University)|Jun 22, 2017

Advanced Graph Neural Networks参考文献 27被引用数 95

ひとこと要約

この論文は、ネットワークサイエンスにおける基本的でNP困難な問題である2次割当問題（QAP）の解を学ぶために、グラフニューラルネットワーク（GNN）を用いたデータ駆動型アプローチを提案する。『植え付けられた解』を備えたラベル付きインスタンスで訓練することで、GNNモデルは強力な平均ケース性能を達成し、困難な状況下でも従来の緩和に基づく手法を上回る性能を示す。

ABSTRACT

Inverse problems correspond to a certain type of optimization problems formulated over appropriate input distributions. Recently, there has been a growing interest in understanding the computational hardness of these optimization problems, not only in the worst case, but in an average-complexity sense under this same input distribution. In this revised note, we are interested in studying another aspect of hardness, related to the ability to learn how to solve a problem by simply observing a collection of previously solved instances. These 'planted solutions' are used to supervise the training of an appropriate predictive model that parametrizes a broad class of algorithms, with the hope that the resulting model will provide good accuracy-complexity tradeoffs in the average sense. We illustrate this setup on the Quadratic Assignment Problem, a fundamental problem in Network Science. We observe that data-driven models based on Graph Neural Networks offer intriguingly good performance, even in regimes where standard relaxation based techniques appear to suffer.

研究の動機と目的

• 機械学習モデルが平均ケースの入力分布下で逆最適化問題を効果的に解くことができるかどうかを調査すること。
• データ駆動型でGNNに基づくモデルを用いて、QAPをより高い精度と複雑さのトレードオフで解くことの可能性を評価すること。
• QAP設定において、植え付けられた解で訓練されたGNNと古典的な緩和に基づく最適化手法の性能を比較すること。
• 現実的な入力分布下での平均的意味でのQAPの計算的困難さを、最悪ケースだけでなく、平均的観点からも探求すること。

提案手法

• 本手法は、問題インスタンスから解へのマッピングを学習する予測モデルを構築するため、グラフニューラルネットワークを用いる。訓練には『植え付けられた最適解』を備えたQAPインスタンスのデータセットが使用される。
• 訓練データは、QAPインスタンスとそれに対応する最適または近似最適解のペアで構成され、解のマッピングの教師あり学習を可能にする。
• GNNアーキテクチャは、2つの重み付きグラフ（場所行列と施設行列）を入力として処理し、反復的な近隣集約によってノードレベルおよびエッジレベルの表現を学習する。
• モデルは、予測された解と植え付けられた解の差を最小化する微分可能な損失関数を用いて、エンドツーエンドで訓練される。
• 性能は、さまざまなQAPインスタンス分布における解の質と計算効率の観点から評価される。

実験結果

リサーチクエスチョン

• RQ1 植え付けられた最適解を備えたインスタンスで訓練されたGNNは、2次割当問題を効果的に解くことができるか？
• RQ2 QAPの平均ケースシナリオにおいて、GNNベースのモデルの性能は、古典的な緩和に基づく手法と比べてどうなるか？
• RQ3 どのような状況下で、データ駆動型GNNモデルが従来の最適化技術を上回るか？
• RQ4 入力分布が、逆最適化問題におけるGNNの学習可能性と一般化性能に与える影響は何か？

主な発見

• GNNベースのモデルは、標準的な緩和に基づく手法が失敗または著しく性能を低下させる状況下でも、2次割当問題で強力な性能を発揮する。
• モデルは平均ケースにおいて、望ましい精度と複雑さのトレードオフを示しており、多様なQAPインスタンスにわたる効果的な一般化を示している。
• 植え付けられた解の使用により、有効な教師信号が得られ、GNNが問題インスタンス内の意味のある構造的パターンを学習できるようになる。
• 結果から、特に複雑または密度の高い問題インスタンスにおいて、GNNによるデータ駆動型学習が、従来の最適化ヒューリスティクスの有望な代替手段であることが示唆される。