[論文レビュー] Simplifying Graph Convolutional Networks

Felix Wu, Tianyi Zhang+4 more|arXiv (Cornell University)|Feb 19, 2019

Advanced Graph Neural Networks参考文献 57被引用数 1,182

ひとこと要約

この論文は Simple Graph Convolution (SGC) を導入します。GCN の線形化バリアントで、固定されたグラフベースの特徴平滑化を事前計算し、単純なロジスティック回帰を訓練します。大規模グラフで訓練がはるかに高速で、精度も競争力があります。

ABSTRACT

Graph Convolutional Networks (GCNs) and their variants have experienced significant attention and have become the de facto methods for learning graph representations. GCNs derive inspiration primarily from recent deep learning approaches, and as a result, may inherit unnecessary complexity and redundant computation. In this paper, we reduce this excess complexity through successively removing nonlinearities and collapsing weight matrices between consecutive layers. We theoretically analyze the resulting linear model and show that it corresponds to a fixed low-pass filter followed by a linear classifier. Notably, our experimental evaluation demonstrates that these simplifications do not negatively impact accuracy in many downstream applications. Moreover, the resulting model scales to larger datasets, is naturally interpretable, and yields up to two orders of magnitude speedup over FastGCN.

研究の動機と目的

• GCN の不要な非線形性と層ごとの変換を排除して簡素化を動機付ける。
• 受容野を多層GCNと保持する線形モデルを導出・分析する。
• 固定のグラフベースの特徴伝播の後にロジスティック回帰が、GCN の性能と同等以上を満たすことを示す。
• 特徴伝播を事前計算することで大規模グラフでの計算効率を大幅に向上させることを示す。
• SGC を引用ネットワーク、ソーシャルネットワーク、多様な下流タスクで評価し、幅広い適用性を確立する。

提案手法

• グラフ G を隣接 A、次数 D、特徴行列 X を用いて定義する。

実験結果

リサーチクエスチョン

• RQ1 GCN 層間の非線形性を排除し、重みを統合することで競争力のあるモデルが得られるか？
• RQ2 固定特徴伝播 H = S^K X は性能と解釈可能性にどのように影響するか？
• RQ3 SGC は大規模グラフにスケールし、タスク間の精度を維持できるか？
• RQ4 スペクトル的観点から SGC の効果を説明できる理論的解釈は何か？

主な発見

• SGC は引用ネットワーク（Cora、Citeseer、Pubmed）と Reddit で GCN および最先端のグラフネットワークと比較して競争力のある検証精度を達成する。
• SGC は事前計算の S^K X により Reddit で訓練を最大で2桁のオーダーの高速化を実現する。
• SGC はテキスト分類、ユーザーの地理的位置推定、関係抽出、ゼロショット画像分類などの下流タスクでも高い性能を維持する。
• 理論分析では SGC はグラフスペクトラム上の固定低パスフィルタに対応し、正規化トリックがスペクトラムを縮小して平滑化をもたらす。
• SGC はしばしばパラメータが少なく、過剰適合を回避し、複雑さの削減により時に GCN ベースのモデルを上回る。