[論文レビュー] Graph Neural Networks for Maximum Constraint Satisfaction

Jan Toenshoff, Martin Ritzert+2 more|arXiv (Cornell University)|Sep 18, 2019

Constraint Satisfaction and Optimization参考文献 39被引用数 8

ひとこと要約

本論文は、すべての二項制約充足問題（Max-CSP）に適用可能な汎用的で教師なしのグラフニューラルネットワーク（GNN）アーキテクチャを提案する。モデルは小さなインスタンスで訓練され、はるかに大きなインスタンスへも効果的に一般化し、グリーディ法や半定値計画法と同等またはそれ以上の性能を達成しており、最大カット問題や最大独立集合問題のような問題では、しばしば最先端のヒューリスティクスを上回る。

ABSTRACT

Many combinatorial optimization problems can be phrased in the language of constraint satisfaction problems. We introduce a graph neural network architecture for solving such optimization problems. The architecture is generic; it works for all binary constraint satisfaction problems. Training is unsupervised, and it is sufficient to train on relatively small instances; the resulting networks perform well on much larger instances (at least 10-times larger). We experimentally evaluate our approach for a variety of problems, including Maximum Cut and Maximum Independent Set. Despite being generic, we show that our approach matches or surpasses most greedy and semi-definite programming based algorithms and sometimes even outperforms state-of-the-art heuristics for the specific problems.

研究の動機と目的

• 多様な組合せ最適化タスクにわたる最大制約充足問題（Max-CSP）を解くための汎用的でディープラーニングベースのアプローチを開発すること。
• 従来の手法のスケーラビリティの制限を克服し、小さな訓練インスタンスからはるかに大きなテストインスタンスへの一般化を可能にすること。
• 各問題インスタンスごとに高価なラベル付き解が必要な依存を避ける、教師なしの訓練パラダイムを設計すること。
• 最大カット問題や最大独立集合問題のような標準的なNP困難問題に対して本手法を評価すること。
• GNNの性能を、確立されたヒューリスティクス、グリーディアルゴリズム、および半定値計画法と比較すること。

提案手法

• 本手法は、変数をノード、それらの間の制約をエッジとして扱うグラフとして制約充足インスタンスを処理できるGNNアーキテクチャを採用する。
• ノードの隣接情報に基づいて反復的にノード表現を更新するメッセージパッシング機構を用い、構造的および制約依存関係を捉える。
• 教師ありではなく、Max-CSP目的関数の微分可能緩和を用いて教師なしで訓練し、真の割り当てがなくてもバックプロパゲーションが可能になる。
• モデルはさまざまなMax-CSP問題の小さなインスタンスで事前学習され、再訓練なしに大きなインスタンスにファインチューニングまたは直接適用可能である。
• 予測は、満たされた制約数を最大化するように、最終的なノード表現を変数の割り当てにデコードすることで行われる。
• アーキテクチャはノードの順列変換に対して不変であり、異なる問題サイズや構造に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 問題固有の設計を一切行わず、一様なGNNアーキテクチャが広範な二項Max-CSP問題クラスを効果的に解けるか？
• RQ2 小さなインスタンスで教師なしで訓練することで、はるかに大きなMax-CSPインスタンスへの一般化が可能か？
• RQ3 提案されたGNNの性能は、グリーディアルゴリズムや半定値計画法といった確立されたヒューリスティクスおよび緩和法と比べてどうか？
• RQ4 最大カット問題や最大独立集合問題のような特定のMax-CSP問題において、GNNは専用のヒューリスティクスを上回れるか？
• RQ5 モデルの性能は、訓練インスタンスのサイズや構造にどの程度依存するか？

主な発見

• 提案されたGNNアーキテクチャは、小さな訓練インスタンスから、少なくとも10倍以上大きなインスタンスへと効果的に一般化し、強力なゼロショット一般化を示した。
• 最大カット問題および最大独立集合問題において、半定値計画法の緩和と同等またはそれ以上の性能を達成した。
• 最大独立集合問題において、多数の有名なグリーディヒューリスティクスを上回り、最先端のヒューリスティクスベースラインと同等またはそれを上回った。
• 教師なし訓練の枠組みにより、高価な教師付きデータに依存せず効果的な学習が可能になった。
• 再訓練なしに多様な問題構造にわたって強力な性能を維持し、大きなグラフへも効率的にスケーリング可能である。
• GNNの性能は複数のMax-CSP問題にわたり安定しており、二項制約充足問題への汎用的適用性を確認した。