[論文レビュー] Data Augmentation View on Graph Convolutional Network and the Proposal of Monte Carlo Graph Learning

Hande Dong, Zhaolin Ding+3 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Graph Neural Networks参考文献 24被引用数 4

ひとこと要約

本稿では、ラベル空間におけるデータ拡張を通じてグラフ畳み込みネットワーク（GCNs）を解釈する新しいグラフ学習パラダイムであるモンテカルログラフ学習（MCGL）を提案する。モンテカルロサンプリングを用いてグラフ構造を通じて訓練ラベルを伝搬させることで、MCGLは訓練データセットを拡張し、従来の分類器を学習する。非線形境界やコミュニティ構造を有するクリーンなグラフにおいて優れた性能を示す一方、GCNsよりもグラフノイズに対して感受性が高くなる。

ABSTRACT

Today, there are two major understandings for graph convolutional networks, i.e., in the spectral and spatial domain. But both lack transparency. In this work, we introduce a new understanding for it -- data augmentation, which is more transparent than the previous understandings. Inspired by it, we propose a new graph learning paradigm -- Monte Carlo Graph Learning (MCGL). The core idea of MCGL contains: (1) Data augmentation: propagate the labels of the training set through the graph structure and expand the training set; (2) Model training: use the expanded training set to train traditional classifiers. We use synthetic datasets to compare the strengths of MCGL and graph convolutional operation on clean graphs. In addition, we show that MCGL's tolerance to graph structure noise is weaker than GCN on noisy graphs (four real-world datasets). Moreover, inspired by MCGL, we re-analyze the reasons why the performance of GCN becomes worse when deepened too much: rather than the mainstream view of over-smoothing, we argue that the main reason is the graph structure noise, and experimentally verify our view. The code is available at https://github.com/DongHande/MCGL.

研究の動機と目的

• データ拡張の観点から、グラフ畳み込みネットワーク（GCNs）の新たな透明な解釈を提供すること。
• GCNsのスペクトル的および空間的解釈における解釈不能性の欠如に対処すること。
• ラベル空間において疑似ラベル伝搬を介して動作する、新たなグラフ学習パラダイム「モンテカルログラフ学習（MCGL）」を提案すること。
• MCGLとGCNの間の、グラフ構造ノイズに対するロバストネスと異なるデータ特性における性能のトレードオフを調査すること。
• GCNの深さに伴う性能低下の原因を再評価し、過剰平滑化ではなく構造的ノイズによるものであると主張すること。

提案手法

• MCGLは、訓練ノードからKステップのモンテカルロサンプリングを実行し、そのラベルをサンプリングされた近隣ノードに伝搬させて、疑似ラベル付きの訓練サンプルを生成する。
• 元のノードと疑似ラベル付きノードから構成される拡張された訓練データセットを用いて、ベース分類器（例：MLP、SVM、LR）を学習する。
• この手法は、局所的同質性仮定に依存している：接続されたノードは同じラベルを共有する可能性が高く、ラベル伝搬が妥当である。
• ラベル伝搬をKステップに制限することで、遠く離れたまたはノイズの多い近隣ノードへの過剰な信頼を避ける。これにより、誤った疑似ラベル付与を防ぐ。
• コアメカニズムは、グラフ構造をラベル空間におけるデータ拡張ツールとして扱うものであり、GCNの表現空間における拡張とは対照的である。
• MCGLは、合成データセットおよび実世界のデータセットを用いて評価され、さまざまなノイズレベル下でのGCNとの性能とロバストネスを比較する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込み演算は、ラベル空間におけるデータ拡張の一形態として意味的に解釈可能か？
• RQ2 非線形意思決定境界やコミュニティ構造を有するクリーンなグラフにおいて、MCGLはGCNと比較してどのように性能を発揮するか？
• RQ3 GCNの性能が深さを増すにつれて低下するのはなぜか？これは主に過剰平滑化によるものか、それとも構造的ノイズによるものか？
• RQ4 MCGLのグラフ構造ノイズに対するロバストネスは、GCNと比較してどの程度か？
• RQ5 MCGLの深さ制限に関する洞察は、GCNの深さ制限を説明するのに役立つだろうか？

主な発見

• クリーンなグラフでは、非線形境界やコミュニティ構造を有するデータセットにおいてMCGLはGCNを上回る性能を示すが、高分散データセットではGCNが優れる。
• MCGLはGCNよりもグラフ構造ノイズに対して感受性が高く、4つの実世界のノイズを含むデータセットで低い耐性を示す。
• 深さが増すに従ってGCNの性能が低下するのは、過剰平滑化ではなく構造的ノイズによるものであることが、実証的に裏付けられた。
• MCGLは深くなりすぎると、悪意のあるエッジが増加することで誤ってラベル付けされた疑似サンプルの数が増加し、モデル性能が低下する。
• GCNの深さ制限は、MCGLを制限するのと同じノイズ問題に根本的に起因しており、共通の根本的要因を持つことが示唆される。
• GCNのデータ拡張的視点は、スペクトル的または空間的解釈よりもより透明で解釈可能であるとされる。