[論文レビュー] Dual-Primal Graph Convolutional Networks

Federico Monti, Oleksandr Shchur+4 more|arXiv (Cornell University)|Jun 3, 2018

Advanced Graph Neural Networks参考文献 40被引用数 36

ひとこと要約

本稿では、双対グラフ（線グラフ）とその双対性を活用した、頂点とエッジの特徴を豊かに学習する新しいGCNアーキテクチャであるDual-Primal Graph Convolutional Networks (DPGCNN)を提案する。このアーキテクチャは、原始グラフとその双対グラフの両方で畳み込みを交互に実行することで、局所的近傍構造に依存するエッジ表現を獲得し、GATを一般化するとともに、パラメータ増加を最小限に抑えつつ、ノード分類、リンク予測、グラフ誘導行列補完タスクで最先端の性能を達成する。

ABSTRACT

In recent years, there has been a surge of interest in developing deep learning methods for non-Euclidean structured data such as graphs. In this paper, we propose Dual-Primal Graph CNN, a graph convolutional architecture that alternates convolution-like operations on the graph and its dual. Our approach allows to learn both vertex- and edge features and generalizes the previous graph attention (GAT) model. We provide extensive experimental validation showing state-of-the-art results on a variety of tasks tested on established graph benchmarks, including CORA and Citeseer citation networks as well as MovieLens, Flixter, Douban and Yahoo Music graph-guided recommender systems.

研究の動機と目的

• グラフアテンション機構が近傍コンテキストを無視するという限界を是正するため、双対グラフ情報を統合すること。
• 原始グラフと双対グラフの両方を用いて、頂点とエッジの特徴を同時に学習するGCNアーキテクチャを構築すること。
• エッジレベルのコンテキストをメッセージパッシングに統合することで、ノード分類、リンク予測、行列補完タスクの性能を向上させること。
• アテンションスコアが局所的近傍構造に依存するようにすることで、GAT機構を一般化すること。

提案手法

• 本手法は、原始グラフとその双対グラフの間で畳み込み操作を交互に実行する。ここで双対グラフはエッジをノードとして表現する。
• エッジ特徴は、双対グラフに適用されたアテンション機構により計算され、近傍に依存するエッジの重要性を捉える。
• 局所的近傍構造に依存するアテンションスコアを計算するために、双対グラフ上でマルチヘッドアテンションを用いる。
• 原始グラフでは4次多項式フィルタを用い、双対グラフ上でメッセージパッシングによりエッジ表現を学習する。
• 行列補完には、空間的特徴を複数のグラフから組み合わせ、RNNベースの逐次予測を統合する分離可能再帰MGCNNフレームワークを採用する。
• 特に大規模データセットにおいて計算コストを削減するため、双対グラフのスパース化版を用いる。

実験結果

リサーチクエスチョン

• RQ1 原始グラフと双対グラフの両方で学習することで、グラフ表現学習タスクの性能が向上するか？
• RQ2 近傍に依存するエッジ特徴を統合することで、GCNにおけるアテンション機構の性能にどのような影響を与えるか？
• RQ3 双対・原始畳み込みアーキテクチャは、標準的なベンチマークで既存のGATベースのモデルを一般化し、それを上回る性能を発揮できるか？
• RQ4 双対グラフ学習は、レコメンデーションシステムにおける行列補完タスクにどのような影響を与えるか？
• RQ5 標準的なGCNと比較して、双対・原始アプローチは顕著に多くのパラメータを必要とするか？

主な発見

• DPGCNNは、CORAおよびCiteseerの学術文献ネットワークにおいて、ノード分類タスクで最先端の性能を達成した。
• MovieLensデータセットでは、RMSEが0.915を記録し、GAT（0.929）および他のベースラインを上回った。
• Flixsterでは、RMSEが0.902を達成し、GATの0.931および他の手法を上回った。
• DoubanおよびYahoo Musicでは、それぞれRMSEが0.789および21.970を記録し、GATおよび標準的な行列補完手法を上回った。
• MovieLensでは25Kのパラメータしか使用しなかった（GATは23K）ため、性能向上にもかかわらず、パラメータの増加は最小限に抑えられた。
• 表5は、DPGCNNがGAT-MGCNNとほぼ同等のパラメータ数であることを確認しており、効率的なパrameter化が可能であることを示している。