[論文レビュー] RobustGCNs: Robust Norm Graph Convolutional Networks in the Presence of Node Missing Data and Large Noises

Bo Jiang, Ziyan Zhang|arXiv (Cornell University)|Mar 23, 2020

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、ノード属性の欠損データや大きなノイズに対処するため、グラフ畳み込みに頑健なノルムに基づく特徴学習を統合した新しいグラフ畳み込みニューラルネットワークアーキテクチャ、RobustGCNsを提案する。グラフ畳み込みをグラフ構造上のデータ再構成プロセスとして再解釈し、伝達関数に頑健なノルム（例：L1 や Huber）を適用することで、外れ値や欠損特徴に対してより頑健な性能を発揮し、ノイズの多いベンチマークデータセットにおいて優れた性能を達成する。

ABSTRACT

Graph Convolutional Networks (GCNs) have been widely studied for attribute graph data representation and learning. In many applications, graph node attribute/feature may contain various kinds of noises, such as gross corruption, outliers and missing values. Existing graph convolutions (GCs) generally focus on feature propagation on structured graph which i) fail to address the graph data with missing values and ii) often perform susceptibility to the large feature errors/noises and outliers. To address this issue, in this paper, we propose to incorporate robust norm feature learning mechanism into graph convolution and present Robust Graph Convolutions (RGCs) for graph data in the presence of feature noises and missing values. Our RGCs is proposed based on the interpretation of GCs from a propagation function aspect of 'data reconstruction on graph'. Based on it, we then derive our RGCs by exploiting robust norm based propagation functions into GCs. Finally, we incorporate the derived RGCs into an end-to-end network architecture and propose a kind of RobustGCNs for graph data learning. Experimental results on several noisy datasets demonstrate the effectiveness and robustness of the proposed RobustGCNs.

研究の動機と目的

• 既存のグラフ畳み込みがノード属性の欠損や大きな特徴ノイズを処理する能力に制限を抱えることに対処する。
• 外れ値や著しい汚損といった現実世界のデータ不完全性に対して、GCNの頑健性を向上させる。
• ノイズや不完全なノード特徴に対して耐性を持つ新しいグラフ畳み込みメカニズムを開発する。
• エンドツーエンドのディープラーニングフレームワークに頑健な畳み込みを統合し、グラフ表現学習を可能にする。
• 実世界のノイズの多いグラフデータセットにおいて、提案手法の有効性を実証する。

提案手法

• グラフ畳み込みをグラフ構造上のデータ再構成プロセスとして再解釈し、特徴伝達を再構成誤差の最小化として定式化する。
• 標準的なL2ベースの伝達を、外れ値やノイズに対して感受性が低い頑健なノルムベースの（例：L1 や Huber）損失関数に置き換える。
• GCNフレームワークに頑健なノルムベースの伝達関数を組み込んで、頑健なグラフ畳み込み（RGCs）を設計する。
• メッセージパッシング中にノード特徴の上での頑健な目的関数を最小化する微分可能モジュールとしてRGC層を定式化する。
• ノイズのある特徴を伴うグラフ構造データに対して、エンドツーエンドのトレーニングが可能なディープニューラルネットワークアーキテクチャにRGCsを統合する。
• 標準的なバックプロパゲーションを用いて全ネットワークを最適化し、入力がノイズを含んでも勾配が安定するように頑健なノルムを活用する。

実験結果

リサーチクエスチョン

• RQ1 頑健なノルムに基づく特徴学習は、ノード属性の欠損状況下でグラフ畳み込みの頑健性を向上させることができるか？
• RQ2 大きな特徴ノイズや外れ値にさらされた場合、提案されたRGCメカニズムは標準的なGCNと比較してどの程度の性能を示すか？
• RQ3 頑健なノルムの定式化は、ノイズの多いグラフデータセットにおけるモデルの一般化能力をどの程度向上させるか？
• RQ4 欠損データやノイズ強度の変動するさまざまな条件下でも、提案手法は性能を維持できるか？
• RQ5 頑健なノルムに基づく伝達関数は、エンドツーエンドのGCNフレームワークに効果的に統合可能か？

主な発見

• 提案されたRobustGCNsは、ノード特徴が欠損しているデータセットや大きなノイズを含むデータセットにおいて、標準的なGCNを著しく上回る性能を示す。
• RobustGCNsは、ノード属性における外れ値や著しい汚損に対しても優れた頑健性を示し、極端なノイズ条件下でも高い性能を維持する。
• 伝達関数に頑健なノルム（例：L1 や Huber）を用いることで、入力特徴における大きな誤差に対する感受性が低下する。
• 実験結果から、複数のノイズの多いベンチマークデータセットにおいて一貫した性能向上が確認され、頑健なノルムアプローチの有効性が裏付けられる。
• RobustGCNsのエンドツーエンドトレーニングにより、入力特徴が汚損されたり不完全であっても安定した最適化が可能になる。