[論文レビュー] Graph Node-Feature Convolution for Representation Learning

Li Zhang, Heda Song+2 more|arXiv (Cornell University)|Nov 30, 2018

Advanced Graph Neural Networks参考文献 24被引用数 7

ひとこと要約

本稿では、標準的なGCNに供給する前に、サンプリングされたノード特徴マップに2次元畳み込みを適用することで、ノード表現学習を向上させる新しいグラフニューラルネットワークNFC-GCNを提案する。特徴量と近隣ノードを2次元グリッドとして扱い、畳み込みにより適応的重みを学習することで、半教師ありノード分類においてGCNやGATを凌駕する優れた性能を達成するとともに、収束が速く、より深いアーキテクチャの構築が可能である。

ABSTRACT

Graph convolutional network (GCN) is an emerging neural network approach. It learns new representation of a node by aggregating feature vectors of all neighbors in the aggregation process without considering whether the neighbors or features are useful or not. Recent methods have improved solutions by sampling a fixed size set of neighbors, or assigning different weights to different neighbors in the aggregation process, but features within a feature vector are still treated equally in the aggregation process. In this paper, we introduce a new convolution operation on regular size feature maps constructed from features of a fixed node bandwidth via sampling to get the first-level node representation, which is then passed to a standard GCN to learn the second-level node representation. Experiments show that our method outperforms competing methods in semi-supervised node classification tasks. Furthermore, our method opens new doors for exploring new GCN architectures, particularly deeper GCN models.

研究の動機と目的

• GCNがアグリゲーションの際にすべての近隣ノードと特徴量を等しく扱うという制限を解決すること。
• 構造化されたノード特徴マップ上で畳み込み操作を可能にすることで、表現学習を向上させること。
• 学習可能で微分可能なノード特徴畳み込み層を導入することで、より深いGCNアーキテクチャの構築を試みること。
• 従来のGCN変種（GCN、GAT、GraphSAGEなど）と比較して、より優れた性能とより速い収束を達成すること。

提案手法

• 各ノードに対して近隣サンプリングを適用し、固定サイズかつ規則的な近隣構造を形成し、中心ノードとそのサンプリングされた近隣ノードから2次元特徴マップを構築する。
• ノード特徴畳み込み（NFC）層が、2次元または1次元畳み込みフィルタを用いて2次元特徴マップに適用され、特徴量および近隣ノードの間で適応的重みを学習する。
• NFC層の出力は、ノード特徴量と近隣構造の局所的で構造的なパターンを捉えた1段階目のノード表現を生成する。
• この1段階目の表現は、その後、標準的なGCN層に供給され、下流タスク用の2段階目で洗練されたノード表現が得られる。
• モデル全体はエンドツーエンドで訓練され、NFC層内のフィルタ重みはGCNパラメータと同時に学習される。
• 複数のNFC層をスタック可能であり、CNN風の学習をグラフ上で実現できる。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴マップに2次元畳み込みを適用することで、標準的なGCNアグリゲーションを上回るノード表現学習が可能になるか？
• RQ2 畳み込みによる適応的特徴量重みの学習は、等重み付けやアテンションベースの近隣重み付けよりも優れた性能をもたらすか？
• RQ3 NFC-GCNは、半教師ありノード分類において、GCN や GAT と比較してより速い収束とより優れた一般化性能を達成できるか？
• RQ4 NFC層を用いることで、どの程度深いモデルを構築でき、その結果、性能の安定性が向上するか？
• RQ5 2段階目のGCN層が存在しない場合、1段階目のNFC表現そのものでも競争力のある性能を達成できるか？

主な発見

• NFC-GCNは、Cora、Citeseer、PubMedの引用ネットワークにおいてSOTA性能を達成し、それぞれ88.30%、78.52%、88.23%のテスト精度を示し、GCN や GAT を上回った。
• 1段階目のNFC表現のみでもCoraで86.58%の精度を達成し、強力な内在的表現力を持つことが示された。
• NFC-GCNは約50エポックで収束したが、GCN や GAT は約100エポックを要したため、著しく収束が速かった。
• 精度と損失の両面でより安定した訓練曲線を示し、最適化挙動が優れていることが示された。
• 最大5層のGCN層を有するより深いNFC-GCNモデルでは、標準的なGCNと比較して性能のばらつきが少なく、より高いロバストネスを示した。
• アブレーションスタディにより、NFC層の貢献が顕著であることが確認され、GCN層を1から5に増加させた際、テスト精度が1.72–3.21%向上した。