[論文レビュー] Exploring Structure-Adaptive Graph Learning for Robust Semi-Supervised Classification

Xiang Gao, Wei Hu+1 more|arXiv (Cornell University)|Apr 23, 2019

Advanced Graph Neural Networks参考文献 30被引用数 4

ひとこと要約

本稿では、GCNNフレームワーク内でのグラフラプラシアン正則化子（GLR）に基づく構造適応型正則化を用いて、グラフ構造とエッジ重みを同時に最適化するグラフ学習ニューラルネットワーク（GLNN）を提案する。この手法は、ラベルが少ない状況下でも半教師ありノード分類のロバスト性を向上させ、学術的・社会的ネットワークデータセットにおいて最先端の手法を上回る性能を発揮する。データおよびタスク駆動のグラフをエンドツーエンドで学習可能である。

ABSTRACT

Graph Convolutional Neural Networks (GCNNs) are generalizations of CNNs to graph-structured data, in which convolution is guided by the graph topology. In many cases where graphs are unavailable, existing methods manually construct graphs or learn task-driven adaptive graphs. In this paper, we propose Graph Learning Neural Networks (GLNNs), which exploit the optimization of graphs (the adjacency matrix in particular) from both data and tasks. Leveraging on spectral graph theory, we propose the objective of graph learning from a sparsity constraint, properties of a valid adjacency matrix as well as a graph Laplacian regularizer via maximum a posteriori estimation. The optimization objective is then integrated into the loss function of the GCNN, which adapts the graph topology to not only labels of a specific task but also the input data. Experimental results show that our proposed GLNN outperforms state-of-the-art approaches over widely adopted social network datasets and citation network datasets for semi-supervised classification.

研究の動機と目的

• 真のグラフが入手不可能または信頼できない状況における、半教師あり学習における不適切なグラフ構築の課題に対処すること。
• 現実のグラフデータに一般的に見られる低ラベルレートの状況におけるモデルのロバスト性を向上させること。
• データおよびラベル情報の両方を用いて、グラフトポロジー（接続性および重み）と分類性能を同時に最適化すること。
• 微分可能でエンドツーエンドの学習フレームワークを用いて、構造適応型グラフ学習をGCNNに統合すること。
• 固定グラフまたはエッジ重みのみを学習する手法と比較して、GLRに基づくグラフ学習の優位性を実証すること。

提案手法

• 隣接行列の最適化を最大事後確率（MAP）推定問題として定式化し、GLRを尤度関数として組み込む。
• 有効な隣接行列を満たすために、スパarsity、対称性、正規化、自己ループの不在を強制する事前分布を導入する。
• グラフ学習の目的関数をGCNNの交差エントロピー損失に統合し、グラフ構造と分類の両方を同時に最適化可能にする。
• 特徴抽出と分類のための2層のGCNに続くグラフ学習層を備えたGLNNフレームワークを設計する。
• スペクトルグラフ理論を用いて、学習されたグラフ上でノード特徴量の滑らかさを促進するグラフラプラシアン正則化子（GLR）を定義する。
• バックプロパゲーションを用いて隣接行列をエンドツーエンドで最適化し、モデルが入力データとラベルに基づいてグラフ構造を適応的に変更可能にする。

実験結果

リサーチクエスチョン

• RQ1 構造適応型グラフ学習は、ラベルが限られる状況下でも半教師ありノード分類の性能を向上させ得るか？
• RQ2 グラフラプラシアン正則化子（GLR）を組み込むことで、GCNNの低ラベルレギメにおけるロバスト性はどのように向上するか？
• RQ3 グラフ構造と分類損失を同時に最適化するアプローチは、固定またはエッジ重みのみを最適化する手法をどの程度上回るか？
• RQ4 提案されたGLNNは、トレーニング中に真のグラフに類似した構造を持ち、かつスパースになる隣接行列を学習するか？
• RQ5 GLR損失項の重み付けハイパーパrameterに、性能がどの程度敏感か？

主な発見

• GLNNは学術的ネットワーク（Cora, Citeseer, PubMed）および社会的ネットワーク（TerroristsRel, TerrorAttack）において最先端の性能を達成し、GCNやChebNetと比較して精度を向上させた。
• CoraおよびCiteseerでは、ラベルレートが0.005にまで低下しても、それぞれ58%および51.8%以上の分類精度を維持し、ベースラインモデルを著しく上回った。
• GLR重み（λ₀）を増加させるとモデル性能が向上し、λ₀ = 1.0でピークに達した。これによりGLRが分類精度向上に果たす重要性が裏付けられた。
• アブレーションスタディの結果、GLR損失項を削除すると性能が著しく低下した。これによりGLRの有効性が検証された。
• 可視化により、学習経過に伴い学習された隣接行列が真のグラフに収束し、スパース化が進むことが確認された。これはスパarsity制約と整合的であった。
• GLNNフレームワークは、事前に定義されたまたは手作業で構築されたグラフに依存せずに、意味的でスパースかつタスクに適応したグラフ構造を効果的に学習できた。