[論文レビュー] GAP: Generalizable Approximate Graph Partitioning Framework

Azade Nazi, Will Hang+3 more|arXiv (Cornell University)|Mar 2, 2019

Advanced Graph Neural Networks参考文献 37被引用数 35

ひとこと要約

GAPは、グラフ埋め込みを用いた微分可能な緩和された正規化カット損失を最適化することで、未知のグラフへの一般化とベースラインより高速な推論を実現するようにグラフを分割することを学習する。

ABSTRACT

Graph partitioning is the problem of dividing the nodes of a graph into balanced partitions while minimizing the edge cut across the partitions. Due to its combinatorial nature, many approximate solutions have been developed, including variants of multi-level methods and spectral clustering. We propose GAP, a Generalizable Approximate Partitioning framework that takes a deep learning approach to graph partitioning. We define a differentiable loss function that represents the partitioning objective and use backpropagation to optimize the network parameters. Unlike baselines that redo the optimization per graph, GAP is capable of generalization, allowing us to train models that produce performant partitions at inference time, even on unseen graphs. Furthermore, because we learn the representation of the graph while jointly optimizing for the partitioning loss function, GAP can be easily tuned for a variety of graph structures. We evaluate the performance of GAP on graphs of varying sizes and structures, including graphs of widely used machine learning models (e.g., ResNet, VGG, and Inception-V3), scale-free graphs, and random graphs. We show that GAP achieves competitive partitions while being up to 100 times faster than the baseline and generalizes to unseen graphs.

研究の動機と目的

• グラフ固有のヒューリスティックを用いず、多様なグラフタイプに対して効率的で均衡なグラフ分割を動機づける。
• 分割の正規化カットと均衡の目的を捉える微分可能な損失を定式化する。
• グラフ構造と特徴量からノードを分割へ割り当てることを学習するニューラルモデルを開発する。
• 未知のグラフおよび未知のサイズへ一般化できることを示し、グラフごとの最適化時間を削減する。

提案手法

• 各ノードが各分割に属する確率を持つソフト分割行列 Y を用いて、期待正規化カットに基づく微分可能な損失を定義する。
• Y とグラフの隣接行列および次数情報を用いて期待切断と体積を計算し、正規化カットの微分可能な近似を可能にする。
• 等分割サイズ（各分割あたり n/g）からの乖離を罰することで均衡項を取り入れる。
• グラフ埋め込みモジュール（GCN または GraphSAGE）を用いてグラフ構造と特徴量からノード表現を生成する。
• 損失を最小化するように訓練される Y を出力する密結合層（ソフトマックス付き）などの分割モジュールを取り付ける。
• 埋め込みと分割モジュール間の勾配フローをブロックして教師なし埋め込みを可能にする訓練をオプションで有効化する；大規模グラフでの minibatch 推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 エッジカットを最小化しつつ、バランスの取れた分割を行うようなニューラルネットワークをエンドツーエンドで訓練できるか？
• RQ2 正規化カットの微分可能な緩和は、未知のグラフとサイズへの一般化を可能にするか？
• RQ3 グラフ埋め込み（GCN、GraphSAGE）は分割品質とグラフ間の転移性にどう影響するか？
• RQ4 推論速度と分割品質のトレードオフは、hMETISのような従来の解法と比べてどうか？
• RQ5 ノード特徴量（例：TensorFlowの演算タイプ）や構造的類似性が一般化をどの程度助けるか？

主な発見

• GAP は実データおよび合成グラフの両方で、競争力のあるエッジカットと高度に均衡な分割を達成する。
• GAPは訓練グラフから未知のグラフやサイズへ一般化でき、未見の大規模計算グラフでしばしば4〜6%のエッジカットである。
• Inception-v3、ResNet、MNIST-conv、AlexNet、VGGは、1つのグラフで訓練され他のグラフに適用した場合にGAPの一般化を示す。
• GAP推論は多くの設定でhMETISより最大で10〜100×高速であり、分割品質は同等かそれ以上を実現する。
• GraphSAGEベースの埋め込みはエンドツーエンドで訓練されると未知のグラフで最良の一般化性能をもたらす。
• 訓練グラフとテストグラフ間の類似性（例：演算タイプのジャカード類似度）が高くなるほど一般化が改善される。