[論文レビュー] DFNets: Spectral CNNs for Graphs with Feedback-Looped Filters

Asiri Wijesinghe, Qing Wang|arXiv (Cornell University)|Oct 24, 2019

Advanced Graph Neural Networks参考文献 35被引用数 6

ひとこと要約

本稿では、特徴の局所化と収束性を向上させるフィードバックループ型フィルタを用いたスペクトル畳み込みニューラルネットワーク（DFNets）を提案する。フィードフォワードおよびフィードバックフィルタの組み合わせに加え、再帰的行列逆行列近似を用いることで、DFNetsは線形のメモリおよび計算量を達成し、誤差範囲内での収束を保証する。また、引用ネットワークおよび知識グラフのベンチマークにおいて、SOTAモデルを上回る性能を示し、Coraでは最大86.0%、Pubmedでは85.2%の精度を達成する。

ABSTRACT

We propose a novel spectral convolutional neural network (CNN) model on graph structured data, namely Distributed Feedback-Looped Networks (DFNets). This model is incorporated with a robust class of spectral graph filters, called feedback-looped filters, to provide better localization on vertices, while still attaining fast convergence and linear memory requirements. Theoretically, feedback-looped filters can guarantee convergence w.r.t. a specified error bound, and be applied universally to any graph without knowing its structure. Furthermore, the propagation rule of this model can diversify features from the preceding layers to produce strong gradient flows. We have evaluated our model using two benchmark tasks: semi-supervised document classification on citation networks and semi-supervised entity classification on a knowledge graph. The experimental results show that our model considerably outperforms the state-of-the-art methods in both benchmark tasks over all datasets.

研究の動機と目的

• 既存のスペクトルグラフフィルタがしばしば局所化性の低さ、不安定性、または高い計算コストを抱えるという限界を是正すること。
• 指定された誤差範囲内での収束を保証するが、あらゆるグラフに普遍的に適用可能な新しいスペクトルフィルタの設計。
• 密な層間接続と正則化を用いて、強力な勾配伝播と頑健な特徴表現を実現する深層グラフニューラルネットワークアーキテクチャの開発。
• スケーリング正規化やカットオフ周波数の技術を用いて、訓練の安定性と性能を向上させ、バックプロパゲーション中の勾配消失／爆発を防止すること。

提案手法

• フィードフォワード成分（多項式フィルタと同様にk-局所的）と、近似精度を向上させるフィードバック成分から成るフィードバックループ型フィルタを導入。
• 有理多項式形式のフィルタを用い、標準的な多項式フィルタに比べて優れた局所化性を実現するとともに、行列逆行列を回避する再帰的近似により計算コストを抑える。
• 有理フィルタの分母における行列逆行列を再帰的アプローチで近似する手法を採用し、エッジ数に関して線形の収束時間およびメモリ複雑性を保証。
• 訓練の安定性を高め、バックプロパゲーション中の勾配問題を防止するために、スケーリング正規化およびカットオフ周波数技術を適用。
• DenseNetにインspiredされた層間の密な伝播ルールを設計し、全前の層にわたる特徴の多様化と強い勾配伝播を実現。
• 過学習を低減し、不適切な特徴学習を抑制するために、層ごとの正則化項を導入。

実験結果

リサーチクエスチョン

• RQ1 スペクトルグラフフィルタ設計は、多項式フィルタを上回る局所化性を達成しつつ、計算効率を維持できるか？
• RQ2 フィードバックループ型フィルタは、グラフ構造に依存せずに指定誤差範囲内での収束を保証できるか？
• RQ3 有理フィルタにおける行列逆行列の再帰的近似は、時間およびメモリ複雑性を線形に維持できるか？
• RQ4 フィードバックループ型フィルタを備えた密なアーキテクチャは、グラフ学習タスクにおける勾配伝播とモデル性能を向上させられるか？
• RQ5 スケーリング正規化およびカットオフ周波数は、訓練の安定性および表現品質にどのように影響するか？

主な発見

• DFNetはCoraで85.2%の精度を達成し、前回のSOTAであるGCN（81.5%）およびGAT（83.0%）を3.7ポイント以上上回る。
• Pubmedでは84.3%の精度を達成し、GCN（79.0%）およびGAT（79.0%）を上回り、データセット全体にわたり一貫した優位性を示す。
• アテンション強化型バージョン（DFNet-ATT）を用いることで、Coraでは86.0%、Pubmedでは85.2%の精度に向上し、優れた一般化性能と頑健性を示す。
• 最適な多項式次数はp=5およびq=3であると判明し、他の組み合わせは不安定性や収束性の低下により性能が劣化する。
• アブレーションスタディの結果、スケーリング正規化とカットオフ周波数の併用が最良の性能をもたらし、CoraおよびCiteseerで顕著な向上が得られた。
• t-SNE可視化では、DFNetがGCNやGATよりも2次元埋め込み空間でより分離されたクラスタを生成しており、優れたノード表現学習を示している。