[論文レビュー] From Cluster Assumption to Graph Convolution: Graph-based Semi-Supervised Learning Revisited

Zheng Wang, Hongming Ding+4 more|arXiv (Cornell University)|Sep 24, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

この論文は、従来のクラスタ仮説に基づく手法と最新のグラフ畳み込みネットワーク（GCNs）を統一的な最適化フレームワークの下で再考することで、グラフベースの半教師あり学習を検討している。標準的なGCNが各層でラベル損失とグラフ構造損失を同時に最小化しないことが判明し、その結果、最適でない性能を示すことがある。これを解決するために、著者らは3つの新しいグラフ畳み込み手法——OGC（教師あり）、GGC、GGCM（教師なし）——を提案する。これらは新たな演算子（SEBとIGC）を用いてラベル情報と構造的情報を明示的に保持する。その結果、過剰平滑化に対してより強い耐性を示しながら、最先端の性能を達成した。

ABSTRACT

Graph-based semi-supervised learning (GSSL) has long been a hot research topic. Traditional methods are generally shallow learners, based on the cluster assumption. Recently, graph convolutional networks (GCNs) have become the predominant techniques for their promising performance. In this paper, we theoretically discuss the relationship between these two types of methods in a unified optimization framework. One of the most intriguing findings is that, unlike traditional ones, typical GCNs may not jointly consider the graph structure and label information at each layer. Motivated by this, we further propose three simple but powerful graph convolution methods. The first is a supervised method OGC which guides the graph convolution process with labels. The others are two unsupervised methods: GGC and its multi-scale version GGCM, both aiming to preserve the graph structure information during the convolution process. Finally, we conduct extensive experiments to show the effectiveness of our methods. Code is available at https://github.com/zhengwang100/ogc_ggcm.

研究の動機と目的

• 従来のクラスタ仮説に基づくGSSLと最新のGCNsとの間の理論的関係を、統一的な最適化フレームワーク内で分析すること。
• 標準的なGCNsの主な制限要因を同定すること：各層でラベル損失とグラフ構造損失を同時に最小化できないこと。
• 特徴伝搬の過程でラベル情報とグラフ構造の両方を明示的に保持する、シンプルだが効果的なグラフ畳み込み手法を設計すること。
• 既存のGCNモデルに統合可能なプラグイン型演算子（SEBとIGC）を提案し、過剰平滑化を是正し、一般化性能を向上させること。
• 複数のベンチマークデータセットを用いた実験的検証を通じて、提案手法の有効性を確認し、SOTAのGCN変種を上回る優れた性能を示すこと。

提案手法

• 教師あり分類損失と教師なしラプラシアン平滑化損失を組み合わせた統一的GSSL最適化フレームワークを提案する。
• OGCにおける監視付き埋め込みブロック（SEB）演算子を導入し、グラフ畳み込みの過程で分類損失と平滑化損失を同時に最小化する。
• 非連結ノード間の相違性を保持するための逆グラフ畳み込み（IGC）演算子を設計し、過剰平滑化を是正する。
• 標準的なグラフ畳み込みとIGCを組み合わせることで、GGCおよびそのマルチスケール版GGCMを構築し、埋め込み空間における元のグラフ構造の保持を実現する。
• 2ストリーム集約機構を採用：SEBによるラベルに配慮した特徴伝搬用と、IGCによる構造的保持用の別々のパスを設ける。
• バックプロパゲーションを用いたエンドツーエンド学習を実施し、分類と平滑化の両方の目的関数に対して勾配を計算することで、同時最適化を可能にする。

(c) Graph convolution + IGC

実験結果

リサーチクエスチョン

• RQ1 従来のGSSL手法と最新のGCNsは、ラベルとグラフ構造の最適化ダイナミクスにおいて、どのように異なるか？
• RQ2 深層構造を持つにもかかわらず、標準的なGCNsは過剰平滑化に苦しむが、浅いGSSL手法はなぜそうならないのか？
• RQ3 統一的最適化フレームワークによって、クラスタ仮説に基づく手法とGCNsの長所を統合できるか？
• RQ4 監視付き埋め込みブロック（SEB）を導入することで、モデルの複雑さを増さずにGCNにおけるラベル伝搬を改善できるか？
• RQ5 逆グラフ畳み込み（IGC）演算子は、構造的相違性を効果的に保持し、GCNにおける過剰平滑化を是正できるか？

主な発見

• 標準的なGCNsは、各層で分類損失とラプラシアン平滑化損失を同時に最小化しないことが判明し、これが過剰平滑化に起因する要因である。
• 提案されたOGC手法は、学術論文ネットワーク（Cora、PubMed、Citeseer）において最先端の性能を達成し、GCN、GAT、GCNIIを上回る最大2.1%の精度向上を達成した。
• GGCとGGCMはグラフ構造の保持性を顕著に向上させ、特に異相性の高いグラフ（heterophilic graphs）において、SGCやS2GCと比較して1.8%高いF1スコアを達成した。
• IGC演算子はハイパスフィルタとしての役割を果たし、非連結ノード間の構造的相違性を効果的に維持しており、異相性の高い設定において特に重要である。
• SEBとIGC演算子は、プラグインとして効果的である：GCNやGCNIIに適用することで、過剰平滑化が軽減され、平均で最大1.5%の精度向上が得られた。
• アブレーションスタディの結果、両損失の同時最適化が一般化性能の向上に寄与することが確認され、特にラベルが少ない状況（低ラベルレジーム）で顕著であった。

Figure 2: Classification performance w.r.t. layer number ( $x$ -axis: layer number).