[論文レビュー] GRAM: Scalable Generative Models for Graphs with Graph Attention Mechanism.

Wataru Kawai, Yusuke Mukuta+1 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 33被引用数 6

ひとこと要約

GRAMは、大規模なグラフ、データセット、ラベル付きノード/エッジを効率的に処理できる、新しいグラフアテンションメカニズムを用いたスケーラブルなグラフ生成モデルを提案する。計算複雑性を低減させながら、最先端の性能を達成し、グラフカーネルとMaximum Mean Discrepancy（MMD）を統合した包括的な評価指標を採用する。

ABSTRACT

Graphs are ubiquitous real-world data structures, and generative models that approximate distributions over graphs and derive new samples from them have significant importance. Among the known challenges in graph generation tasks, scalability handling of large graphs and datasets is one of the most important for practical applications. Recently, an increasing number of graph generative models have been proposed and have demonstrated impressive results. However, scalability is still an unresolved problem due to the complex generation process or difficulty in training parallelization. In this paper, we first define scalability from three different perspectives: number of nodes, data, and node/edge labels. Then, we propose GRAM, a generative model for graphs that is scalable in all three contexts, especially in training. We aim to achieve scalability by employing a novel graph attention mechanism, formulating the likelihood of graphs in a simple and general manner. Also, we apply two techniques to reduce computational complexity. Furthermore, we construct a unified and non-domain-specific evaluation metric in node/edge-labeled graph generation tasks by combining a graph kernel and Maximum Mean Discrepancy. Our experiments on synthetic and real-world graphs demonstrated the scalability of our models and their superior performance compared with baseline methods.

研究の動機と目的

• ノード数、データ量、ラベルの複雑さの観点から、グラフ生成モデルにおけるスケーラビリティの課題に取り組む。
• 生成品質を損なわずに大規模なグラフやデータセットにスケーリングできる、訓練効率の高い生成モデルを開発する。
• 新しいグラフアテンションメカニズムを用いて、単純かつ一般化された方法でグラフ尤度を定式化し、スケーラブルな訓練を可能にする。
• ノードおよびエッジラベル付きグラフ生成のための包括的でドメインに依存しない評価指標を導入する。この指標はグラフカーネルとMaximum Mean Discrepancy（MMD）を統合する。
• 既存の手法と比較して、合成および実世界のグラフベンチマークにおいて優れた性能とスケーラビリティを示す。

提案手法

• グラフ尤度の計算を効率的に行えるグラフアテンションメカニズムを提案し、訓練の複雑性を低減する。
• スケーラブルな訓練と推論を可能にするために、グラフ生成の尤度を単純かつ一般化された形で定式化する。
• 計算複雑性を低減する2つの技術を適用し、大規模なグラフにおける訓練効率を向上させる。
• グラフカーネルとMaximum Mean Discrepancy（MMD）を統合して、ラベル付きグラフ生成のための包括的な評価指標を構築する。
• ドメインに依存しない設計を採用し、多様なグラフ生成タスクに広く応用可能であることを実現する。
• 学習済み分布から現実的なグラフを生成できるように、微分可能な尤度目的関数を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 グラフ生成モデルは、ノード数、データ量、ラベルの複雑さのすべてを同時にスケーリングできるか？
• RQ2 提案されたグラフアテンションメカニズムは、従来のアプローチと比較して、訓練効率とスケーラビリティをどのように向上させるか？
• RQ3 グラフカーネルとMMDに基づく包括的な評価指標は、ラベル付きグラフ生成における分布の類似性をどの程度効果的に捉えられるか？
• RQ4 GRAMは、実世界および合成データセットにおいて、既存の最先端のグラフ生成モデルと比較して、性能とスケーラビリティで優れているか？

主な発見

• GRAMは、ベースライン手法と比較して、大規模なグラフやデータセットをより効率的に処理する優れたスケーラビリティを示した。
• GRAMは、合成および実世界のグラフ生成ベンチマークで、最先端の性能を達成した。
• 提案された評価指標は、ノードおよびエッジラベル付きのグラフ生成タスクにおける分布の類似性を効果的に捉えた。
• 計算複雑性の低減技術により、生成品質を損なわず、訓練速度が顕著に向上した。
• GRAMは、規模が拡大しても高い生成品質を維持し、尤度と構造的類似性の両面で、既存のモデルを上回った。