[論文レビュー] Feature Interaction-aware Graph Neural Networks

Kaize Ding, Yichuan Li+3 more|arXiv (Cornell University)|Aug 19, 2019

Advanced Graph Neural Networks参考文献 45被引用数 4

ひとこと要約

本稿では、特徴が疎なグラフにおけるノード表現学習を向上させるために、パーソナライズドアテンションメカニズムを用いて情報性のある特徴相互作用を明示的にモデル化する、プラグアンドプレイなフレームワークである特徴相互作用に配慮したグラフニューラルネットワーク（FI-GNNs）を提案する。特徴因子化とグラフメッセージパッシングを統合することで、実世界のデータセットにおいてノード分類およびリンク予測のタスクで優れた性能を達成する。

ABSTRACT

Inspired by the immense success of deep learning, graph neural networks (GNNs) are widely used to learn powerful node representations and have demonstrated promising performance on different graph learning tasks. However, most real-world graphs often come with high-dimensional and sparse node features, rendering the learned node representations from existing GNN architectures less expressive. In this paper, we propose extit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)}, a plug-and-play GNN framework for learning node representations encoded with informative feature interactions. Specifically, the proposed framework is able to highlight informative feature interactions in a personalized manner and further learn highly expressive node representations on feature-sparse graphs. Extensive experiments on various datasets demonstrate the superior capability of FI-GNNs for graph learning tasks.

研究の動機と目的

• 実世界のグラフにおける高次元で疎なノード特徴から表現力を高める表現学習が、従来のGNNに限界を示すという問題に対処すること。
• 手動による特徴工学や分野特化の知識に依存せずに、意味のある特徴相互作用を自動で学習すること。
• ノードレベルのパーソナライズーションとグラフ構造を保ちながら、特徴相互作用モデリングとグラフメッセージパッシングを統合すること。
• 異種グラフや符号付きグラフを含むさまざまなグラフタイプに対応できる、多様なGNNアーキテクチャと互換性のあるプラグアンドプレイフレームワークを開発すること。
• 特徴相互作用への配慮が、下流のグラフ学習タスクにおけるノード表現品質の向上にどのように寄与するかを実証すること。

提案手法

• フレームワークは、局所的近傍からのノード特徴を再帰的に圧縮・伝達するメッセージアグレゲーターを採用する。
• 特徴因子化器は、ペアワイズおよび高階の特徴相互作用を符号化する低次元埋め込みを学習する。
• パーソナライズドアテンションモジュールは、アグレゲートされた特徴をクエリとして用い、各ノードに対して最も関連性の高い特徴相互作用を動的に強調する。
• アテンション機構は、タスク固有の関連性に基づいて、異なる特徴相互作用の影響をバランスさせるように、エンドツーエンドで学習される。
• フレームワークはモジュラー構造であり、GCN、GAT、GraphSAGEなどのモデルにシームレスに統合可能な、あらゆるGNNアーキテクチャと互換性を持つ。
• 標準的なグラフ学習目的関数（ノード分類には交差エントロピー、リンク予測にはネガティブサンプリング）を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 高次元で疎なグラフデータにおけるノード表現学習を、特徴相互作用の明示的モデリングが向上させられるか？
• RQ2 パーソナライズドアテンションを用いることで、ノードごとに最も情報性の高い特徴相互作用を動的に選択できるか？
• RQ3 特徴相互作用の統合が、ノード分類およびリンク予測タスクの性能にどの程度向上をもたらすか？
• RQ4 提案されたFI-GNNフレームワークは、さまざまなGNNアーキテクチャやグラフタイプに一般化可能か？
• RQ5 グラフ構造データに適用した場合、従来の特徴相互作用手法（例：ファクタリゼーションマシン）と比較して、本モデルはどのように優れているか？

主な発見

• FI-GNNsは、BlogCatalogやCoraを含む4つの実世界データセットにおいて、GCN や GAT といった標準的なGNNよりもノード分類およびリンク予測タスクで優れた性能を示す。
• アブレーションスタディの結果、パーソナライズドアテンションモジュールを削除すると顕著な性能低下が生じ、それが情報性のある特徴相互作用の強調に果たす役割を確認する。
• パーソナライズドアテンション機構を欠落させたFI-GCN-Conは、FI-GCNに比べて顕著な性能差を示すため、動的相互作用選択の重要性が裏付けられる。
• t-SNE可視化の結果、FI-GNNsはDeepWalk、node2vec、GCNと比較して、よりコンパクトで明確に分離されたクラスクラスタを生成しており、優れた識別力を持つことが確認される。
• 評価されたベンチマークすべてで最先端の性能を達成しており、特徴が疎なグラフの処理における有効性が示された。
• FI-GNNsはさまざまなGNNと互換性があり、異種グラフや符号付きグラフへも拡張可能であり、プラグアンドプレイな柔軟性が確認された。