[論文レビュー] End to end learning and optimization on graphs

Bryan Wilder, Eric Ewing+2 more|arXiv (Cornell University)|May 31, 2019

Advanced Graph Neural Networks参考文献 47被引用数 46

ひとこと要約

ClusterNetはグラフノードを埋め込み、ソフトクラスタリング層でグラフ最適化決定へ微分可能にマッピングし、学習+最適化タスクで2段階および純粋なエンドツーエンドのベースラインより良い性能を達成します。

ABSTRACT

Real-world applications often combine learning and optimization problems on graphs. For instance, our objective may be to cluster the graph in order to detect meaningful communities (or solve other common graph optimization problems such as facility location, maxcut, and so on). However, graphs or related attributes are often only partially observed, introducing learning problems such as link prediction which must be solved prior to optimization. Standard approaches treat learning and optimization entirely separately, while recent machine learning work aims to predict the optimal solution directly from the inputs. Here, we propose an alternative decision-focused learning approach that integrates a differentiable proxy for common graph optimization problems as a layer in learned systems. The main idea is to learn a representation that maps the original optimization problem onto a simpler proxy problem that can be efficiently differentiated through. Experimental results show that our ClusterNet system outperforms both pure end-to-end approaches (that directly predict the optimal solution) and standard approaches that entirely separate learning and optimization. Code for our system is available at https://github.com/bwilder0/clusternet.

研究の動機と目的

• 部分的に観測されたグラフにおいて、グラフ上の学習と最適化の統合を動機づけ、形式化する。
• 埋め込み空間におけるソフトK-meansという微分可能な代理手法を導入し、離散的なグラフ最適化問題を近似する。
• 予測精度ではなく下流の意思決定品質を最適化するエンドツーエンド訓練を実演する。
• 学習済み表現が複数の分野における下流タスクに対して高価値の解を誘導することを示す。

提案手法

• 観測された辺とノード特徴量により駆動されるグラフニューラルネットワーク（例: GCN）を用いて、グラフノードを連続空間に埋め込む。
• ノードをKクラスタにソフトアサインメントで割り当てる、微分可能なK-meansクラスタリング層を含める。
• 距離のソフトマックス（逆温度パラメータbeta）を用いた微分可能なK-meansの形で、クラスタ中心とソフトアサインメントを更新するフォワードパスを用いる。
• 暗黙の関数定理を用いてクラスタリングの固定点を微分し、埋め込みへの勾配を得る。
• クラスタ割り当てをグラフ最適化問題（パーティショニングまたはサブセット選択）のソフト解として解釈し、これらのソフト解に対する微分可能な期待損失を計算する。
• ソフトクラスタリングを離散的な意思決定に変換する2つの実用的戦略を提供する：(i) ソフトパーティショニングによる分割、(ii) クラスタ中心への確率質量でサブセットを選択し、テスト時に丸め（例: pipage rounding）を行う。
• 効率的な近似的フォワード/バックワードの保証を主張・提供し、スケーラブルなエンドツーエンド訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 意思決定に焦点を当てた学習は、2段階法および純粋なエンドツーエンド法より下流の最適化品質を向上させるか？
• RQ2 埋め込みベースのソフトクラスタリングは、ハードなグラフ最適化問題（パーティショニングとサブセット選択）の効果的な微分可能代理として機能するか？
• RQ3 未知のグラフに対する一般化性能はどの程度か、微調整は新しいグラフでの性能にどのように影響するか？
• RQ4 クラスタリング層を介した厳密な微分可能な逆伝播と近似的な逆伝播の計算上のトレードオフは何か？

主な発見

• ClusterNetは、学習と最適化を組み合わせたベースラインや純粋なエンドツーエンドアプローチを、コミュニティ検出と施設配置タスクで一貫して上回る。
• 2段階アプローチは、観測されたエッジのみでの訓練と比較して劣ることがあり、エンドツーエンドの意思決定重視学習の価値を示している。
• GCN-e2e（純粋なエンドツーエンド）はしばしばClusterNetと同等か劣ることが多く、微分可能な層としてアルゴリズム的構造を組み込む利点を強調している。
• ClusterNetは未知のグラフや分布に対して一般化し、利用可能な場合には微調整で追加の利得を得られる。
• フォワードパスは効率的で、最大のグラフで0.23秒程度まで、バックワードパスのスケーラブルな近似もサポートする。