[論文レビュー] Multi-dimensional Graph Convolutional Networks

Yao Ma, Suhang Wang+3 more|arXiv (Cornell University)|Aug 18, 2018

Advanced Graph Neural Networks参考文献 31被引用数 12

ひとこと要約

本稿では、mGCNを提案する。mGCNは、多関係性グラフにおける次元内および次元間の相互作用を、次元固有の表現と一般のノード表現を学習することで捉える多次元グラフ畳み込みネットワークである。モデルはこれらの表現を重み付き組み合わせで統合し、YouTube や Amazon などの現実世界の多次元ネットワークにおけるノード分類タスクで最先端の性能を達成している。

ABSTRACT

Convolutional neural networks (CNNs) leverage the great power in representation learning on regular grid data such as image and video. Recently, increasing attention has been paid on generalizing CNNs to graph or network data which is highly irregular. Some focus on graph-level representation learning while others aim to learn node-level representations. These methods have been shown to boost the performance of many graph-level tasks such as graph classification and node-level tasks such as node classification. Most of these methods have been designed for single-dimensional graphs where a pair of nodes can only be connected by one type of relation. However, many real-world graphs have multiple types of relations and they can be naturally modeled as multi-dimensional graphs with each type of relation as a dimension. Multi-dimensional graphs bring about richer interactions between dimensions, which poses tremendous challenges to the graph convolutional neural networks designed for single-dimensional graphs. In this paper, we study the problem of graph convolutional networks for multi-dimensional graphs and propose a multi-dimensional convolutional neural network model mGCN aiming to capture rich information in learning node-level representations for multi-dimensional graphs. Comprehensive experiments on real-world multi-dimensional graphs demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• 複数の関係タイプを有する多次元グラフにおける効果的なノード表現学習の課題に取り組む。
• 単一の関係タイプにのみ対応する従来のグラフ畳み込みネットワークの限界を克服する。
• 各関係タイプ内（イントラ次元）および関係タイプ間（インターディメンション）の相互作用をモデル化する統一フレームワークを構築する。
• YouTube や Amazon のような複雑で現実的な多関係性ネットワークにおけるノード分類などのタスクにおけるノードレベルの表現学習を向上させる。

提案手法

• 各関係タイプを別個の次元としてモデル化し、各次元に対して独立したグラフ構造を構築する。
• 各次元内の直接の隣接ノードからの特徴を集約するグラフ畳み込み層を用いて、次元固有のノード表現を学習する。
• ノードの異なる次元における対応するノード表現を集約することで、次元間の相互作用を捉える。
• 次元固有の表現と次元間表現を、学習可能な重み付き平均（ハイパーパrameter α で制御）を用いて組み合わせる。
• 最終的な統合表現を一般のノード埋め込みに統合するために、全結合層を用いる。
• ノード分類のための交差エントロピー損失を用い、確率的勾配降下法でエンドツーエンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、複数の関係タイプを有する多次元グラフを効果的にモデル化するためにどのように拡張できるか？
• RQ2 次元内および次元間の相互作用が、ノード表現の質に与える相対的寄与度は何か？
• RQ3 統一フレームワークは、複数の関係タイプからの情報を効果的に統合し、ノード分類の性能を向上させることができるか？
• RQ4 モデルの性能は、次元内および次元間の集約のバランスにどの程度敏感か？

主な発見

• 提案された mGCN モデルは、YouTube や Amazon のような現実世界の多次元グラフにおけるノード分類タスクで、ベースラインの GCN や他の多関係性埋め込み手法を上回る最先端の性能を達成した。
• F1-macro および F1-micro スコアは、ハイパーパrameter α が約 0.5 のときにピークに達し、次元内および次元間の情報が重要で補完的であることが示された。
• α を 0 もしくは 1 に設定すると性能が著しく低下し、次元内または次元間の相互作用を無視することはモデルの有効性を損なうことを確認した。
• YouTube や Amazon のような現実世界の多次元ネットワークにおいて、モデルは頑健性とスケーラビリティを示した。これらのネットワークには、ユーザー-アイテムおよびユーザー-ユーザーの複数の種類の相互作用が含まれる。
• アブレーションスタディにより、イントラおよびインターディメンションのメッセージパッシングの統合が、単独の成分よりも情報量の多いノード表現を生成することが確認された。
• フレームワークは、現実世界の多関係性ネットワークの構造的・関係的複雑性を効果的に捉えており、より良い下流の予測タスクを可能にした。