[論文レビュー] Cross-GCN: Enhancing Graph Convolutional Network with $k$-Order Feature Interactions

Fuli Feng, Xiangnan He+2 more|arXiv (Cornell University)|Mar 5, 2020

Advanced Graph Neural Networks参考文献 54被引用数 7

ひとこと要約

本稿では、特徴量のk次相互作用を新たなクロス特徴グラフ畳み込み演算子を用いて明示的にモデル化する、特徴量次元と次数サイズに対して線形計算量を達成するグラフ畳み込みネットワーク、Cross-GCNを提案する。この手法は、特徴量変換を強化しつつ効率性を維持することで、特に低次元特徴量が疎なグラフにおいて、ノード分類性能を顕著に向上させる。

ABSTRACT

Graph Convolutional Network (GCN) is an emerging technique that performs learning and reasoning on graph data. It operates feature learning on the graph structure, through aggregating the features of the neighbor nodes to obtain the embedding of each target node. Owing to the strong representation power, recent research shows that GCN achieves state-of-the-art performance on several tasks such as recommendation and linked document classification. Despite its effectiveness, we argue that existing designs of GCN forgo modeling cross features, making GCN less effective for tasks or data where cross features are important. Although neural network can approximate any continuous function, including the multiplication operator for modeling feature crosses, it can be rather inefficient to do so (i.e., wasting many parameters at the risk of overfitting) if there is no explicit design. To this end, we design a new operator named Cross-feature Graph Convolution, which explicitly models the arbitrary-order cross features with complexity linear to feature dimension and order size. We term our proposed architecture as Cross-GCN, and conduct experiments on three graphs to validate its effectiveness. Extensive analysis validates the utility of explicitly modeling cross features in GCN, especially for feature learning at lower layers.

研究の動機と目的

• 既存のGCNがクロス特徴量を捉える能力に制限があることに対処すること、これは推薦や分類などのタスクにおいて重要である。
• 過剰なパラメータ化を伴わずに任意次数の特徴量相互作用を明示的にモデル化できる、効率的な特徴量変換モジュールを設計すること。
• クロス特徴量モデリングをグラフ畳み込み層に統合した新たなGCNアーキテクチャ—Cross-GCN—を構築することにより、表現学習を向上させること。
• 複数のグラフデータセットにおいて、特に低次元特徴量学習におけるクロス特徴量モデリングの有効性を検証すること。
• 標準GCNで非線形活性化関数に依存するのではなく、明示的なクロス特徴量学習が、より優れた性能をもたらすことを示すこと。

提案手法

• k次特徴量相互作用を構造的かつパラメータ効率的なメカニズムで計算する、クロス特徴グラフ畳み込み演算子を導入する。
• 入力特徴量と前層からの出力を組み合わせる再帰的相互作用メカニズムを用い、段階的に高次相互作用を構築する。
• 学習可能な重みを用いて、異なる次数の特徴量相互作用を重み付き和で統合する集約関数を採用する。
• 特徴量次元Dと相互作用次数kの両方に対して線形にスケーリングする特徴量変換モジュールを設計し、CINのような従来手法のO(D²)コストを回避する。
• 複数のクロス特徴グラフ畳み込み層をスタックしてCross-GCNを構築し、明示的なクロス特徴量モデリングを可能にする深層表現学習を実現する。
• 標準GCN風のメッセージパッシングを用い、共引用ネットワークやソーシャルネットワークにおけるノード分類タスクにこのアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 k次特徴量相互作用の明示的モデリングが、ノード分類タスクにおけるグラフ畳み込みネットワークの性能向上に寄与するか？
• RQ2 クロス特徴量の導入が、GCNの低層における表現学習にどのように影響するか？
• RQ3 提案されたクロス特徴グラフ畳み込み演算子は、高次特徴量相互作用を可能にしつつ、効率性を維持できるか？
• RQ4 特に特徴量が疎または低次元な状況では、Cross-GCNが標準GCNよりも顕著に改善を示すか？
• RQ5 パrameter効率性と性能の観点から、CIN や CrossNet などの既存のクロス特徴量モデリング技術と比較して、Cross-GCNはどのように差をつけるか？

主な発見

• Cross-GCNは、クロス特徴量で学習した場合、標準GCNよりも顕著に高いテスト精度を達成しており、明示的なクロス特徴量モデリングの価値を示している。
• 性能向上は、低次元特徴量が疎なグラフにおいて最も顕著であり、この状況下でクロス特徴量学習が特に有効であることが示唆される。
• 提案されたクロス特徴グラフ畳み込み演算子は、特徴量次元Dと相互作用次数kの両方に対して線形計算量を達成しており、CINのようなO(D²)手法に比べてスケーラビリティに優れている。
• 実験結果から、クロス特徴量学習による改善は、GCNの初期層で最も顕著であることが分かっており、クロス特徴量が低次元表現学習において最も効果的であることが示唆される。
• Cross-GCNは、生の特徴量のみを用いても標準GCNを上回る性能を示しており、特徴量変換モジュールの向上が、単なる特徴量工学の範囲を越えて一般化性能を向上させていることを示している。
• アブレーションスタディの結果、性能向上は追加のパラメータによるモデル容量の増加ではなく、クロス特徴量の明示的モデリングによるものであることが確認された。