[論文レビュー] Higher-order Weighted Graph Convolutional Networks

Songtao Liu, Lingwei Chen+4 more|arXiv (Cornell University)|Nov 11, 2019

Advanced Graph Neural Networks参考文献 35被引用数 13

ひとこと要約

本稿では、Lassoに基づく特徴損失最小化を用いて、1階および高階の近傍ノードの適応的で重み付きの集約を学習する、新しいGCNの変種であるHigher-order Weighted Graph Convolutional Networks (HWGCN)を提案する。ノード特徴量とグラフ構造を併用することで、HWGCNはノード表現学習を向上させ、Cora、Citeseer、Pubmedの引用ネットワークベンチマークにおいて、GCN、GAT、MixHopを凌ぎ、最先端の性能を達成する。

ABSTRACT

Graph Convolution Network (GCN) has been recognized as one of the most effective graph models for semi-supervised learning, but it extracts merely the first-order or few-order neighborhood information through information propagation, which suffers performance drop-off for deeper structure. Existing approaches that deal with the higher-order neighbors tend to take advantage of adjacency matrix power. In this paper, we assume a seemly trivial condition that the higher-order neighborhood information may be similar to that of the first-order neighbors. Accordingly, we present an unsupervised approach to describe such similarities and learn the weight matrices of higher-order neighbors automatically through Lasso that minimizes the feature loss between the first-order and higher-order neighbors, based on which we formulate the new convolutional filter for GCN to learn the better node representations. Our model, called higher-order weighted GCN(HWGCN), has achieved the state-of-the-art results on a number of node classification tasks over Cora, Citeseer and Pubmed datasets.

研究の動機と目的

• 1階および高階近傍における受容 field の制限と情報の重複による深層GCNの性能低下を解消すること。
• 高階近傍の集約に、隣接行列の累乗に依存する既存手法の限界を克服すること。
• 1階近傍との類似性に基づいて、関連する高階近傍を特定・重み付けする、特徴に依存する非教師ありメカニズムを構築すること。
• 1階近傍と高階近傍の間の特徴再構成損失を最小化することで、ノード表現学習を向上させること。
• アーキテクチャの大幅な見直しを伴わずに、標準的な引用ネットワークノード分類ベンチマークで最先端の性能を達成すること。

提案手法

• 学習可能な重み行列を用いて、1階および高階近傍情報の組み合わせを新たなグラフ畳み込みフィルタとして定式化する。
• 1階近傍と高階近傍の間の特徴損失を最小化するためのLassoに基づく最適化目的関数を導入し、スパarsityと関連性を促進する。
• ノード特徴量とグラフ構造を統合的に用いて重み行列の学習を誘導し、高階情報の直交的かつ意味のある集約を保証する。
• 特徴類似度に基づいて情報量の多い近傍を選択する凸最適化問題を解くことで、高階近傍表現を構築する。
• 学習された重み付き高階畳み込みを標準的なGCNフレームワークに統合し、元のアーキテクチャを維持しながら表現力の向上を実現する。
• 対称正規化とReLU活性化関数を、元のGCNと同様に適用することで、トレーニングの互換性と安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 隣接行列の累乗に依存せずに、GCNにおいて高階近傍情報を効果的かつ効率的に集約できるか？
• RQ2 ノード特徴量を活用することで、グラフ畳み込みにおける高階近傍の選択と重み付けをどのように改善できるか？
• RQ3 1階近傍と高階近傍の間の特徴損失を最小化することで、より良いノード表現学習が達成できるか？
• RQ4 Lassoに基づく非教師ありの近傍重み付け手法は、GCNにおける一般化性能の向上と過学習の低減に寄与するか？
• RQ5 提案されたHWGCNモデルは、標準的な引用ネットワークベンチマークで最先端の性能を達成できるか？

主な発見

• Coraでは82.9%の正確度を達成し、GCN（81.5%）とGAT（83.0%）を上回り、最良のパフォーマンスを記録した。
• Citeseerでは71.7%の正確度を達成し、GCN（70.3%）とGAT（72.5%）をわずかに上回り、一貫した改善を示した。
• Pubmedでは80.5%の正確度を達成し、GCN（79.0%）を上回り、MixHop（80.8%）と同等の性能を示し、データセット全体にわたる強力な一般化性能を示した。
• Lassoに基づく近傍重み付け機構により、複数回の実行と固定された分割において安定した性能が得られ、過学習の低減が裏付けられた。
• 異なるデータセットに対してモデルの性能が安定しており、特徴に依存する重み付きの高階近傍集約が、良好に一般化されることを示した。
• HWGCNは、アーキテクチャの変更を要せず、既存のGCNモデルに汎用的に統合可能な、プラグイン型の強化手法を提供している。