[論文レビュー] Bootstrapped Graph Diffusions: Exposing the Power of Nonlinearity

Eliav Buchnik, Edith Cohen|arXiv (Cornell University)|Mar 7, 2017

Advanced Graph Neural Networks参考文献 26被引用数 8

ひとこと要約

本稿では、自己学習フレームワークとしてのブートストラップドグラフ拡散を提案する。これは、古典的な線形グラフ拡散（例：ラベル伝搬）に非線形性を適用することで、半教師あり学習を向上させるものである。反復的な予測の精練と再訓練を通じて、citationネットワークにおいて最先端の性能を達成し、GCNを上回るが、線形手法のスケーラビリティを維持する。

ABSTRACT

Graph-based semi-supervised learning (SSL) algorithms predict labels for all nodes based on provided labels of a small set of seed nodes. Classic methods capture the graph structure through some underlying diffusion process that propagates through the graph edges. Spectral diffusion, which includes personalized page rank and label propagation, propagates through random walks. Social diffusion propagates through shortest paths. A common ground to these diffusions is their {\em linearity}, which does not distinguish between contributions of few "strong" relations and many "weak" relations. Recently, non-linear methods such as node embeddings and graph convolutional networks (GCN) demonstrated a large gain in quality for SSL tasks. These methods introduce multiple components and greatly vary on how the graph structure, seed label information, and other features are used. We aim here to study the contribution of non-linearity, as an isolated ingredient, to the performance gain. To do so, we place classic linear graph diffusions in a self-training framework. Surprisingly, we observe that SSL using the resulting {\em bootstrapped diffusions} not only significantly improves over the respective non-bootstrapped baselines but also outperform state-of-the-art non-linear SSL methods. Moreover, since the self-training wrapper retains the scalability of the base method, we obtain both higher quality and better scalability.

研究の動機と目的

• 非線形性の影響をグラフベースの半教師あり学習（SSL）において隔離・評価することを目的とし、GCNなどの複雑な非線形モデルと比較する。
• 単純でスケーラブルな線形グラフ拡散が、非線形性を誘発するラッピングによって性能を向上させることを調査すること。
• 自己学習（ブートストラップ）が線形拡散手法の性能を著しく向上させつつ、計算効率を損なわないことを示すこと。
• ブートストラップを介して非線形性を適用することで、特徴工学やモデルの複雑さを超えて性能向上が達成されるという実証的証拠を提供すること。

提案手法

• 未ラベルノードの疑似ラベルを反復的に生成し、拡張されたラベル付きセットで再訓練することで、古典的な線形グラフ拡散（例：ラベル伝搬、特徴伝搬）に自己学習ラッパーを適用する。
• 安定性と収束性の向上を図るため、特に高次元またはスパースなグラフにおいて、正規化されたグラフラプラシアンを拡散に使用する。
• ノード特徴量を、ラベルと同じ拡散カーネルを用いてグラフ全体に拡散することで、拡散プロセスにノード特徴量を統合する。
• 予測の再重み付けによる反復的処理を通じて非線形性を導入しながらも、元の線形拡散メカニズム（例：ヤコビ反復）を維持する。
• ノイズの蓄積を低減するため、ブートストラップ段階で信頼度のしきい値戦略を用いる。
• 固定およびランダムな訓練/検証分割を用いて、ベンチマークとしてのcitationネットワーク（Cora, Citeseer, PubMed）で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己学習による非線形性の導入が、古典的な線形グラフ拡散の半教師あり学習性能を著しく向上させるか？
• RQ2 ブートストラップされた線形拡散は、標準的なcitationネットワークベンチマークにおいて、GCN や Planetoid といった最先端の非線形モデルを上回る性能を発揮できるか？
• RQ3 拡散手法の選択（例：正規化済み vs. 非正規化済みラプラシアン）が、ブートストラップフレームワークの性能に与える影響はいかほどか？
• RQ4 特徴伝搬によるノード特徴量の統合が、ブートストラップ拡散の性能をさらに向上させるか？
• RQ5 ブートストラップ処理を施しても、ベースの線形手法のスケーラビリティはどの程度維持されるか？

主な発見

• 正規化済みラプラシアンラベル伝搬のブートストラップ版は、Coraで72.8%、Citeseerで53.6%の正確度を達成し、元の手法を上回り、GCNの性能と同等またはそれを上回った。
• Coraでは、ブートストラップされた正規化特徴伝搬法が82.9%の正確度に達し、元の82.4%を上回り、同じベンチマークでGCNの81.5%をも上回った。
• PubMedでは、ブートストラップされた正規化ラプラシアンラベル伝搬が78.8%の正確度を達成し、GCNの79.0%をわずかに下回ったが、非ブートストラップベースラインを著しく上回った。
• ノード特徴量をグラフ全体に拡散する特徴伝搬の使用は、生の特徴量のみを使用する場合に比べ、平均で12%の性能向上をもたらした。
• ブートストラップはCoraおよびCiteseerで一貫して性能向上をもたらし、正確度で最大10%の向上を達成したが、ベース手法がもともと最適に近かったPubMedではほとんど向上が見られなかった。
• 自己学習ラッパーは、ベースの線形手法のスケーラビリティを維持しており、深層ニューラルネットワークの計算負荷を伴わずに大規模グラフでの効率的な学習を可能にした。