[論文レビュー] Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

Aseem Baranwal, Kimon Fountoulakis+1 more|arXiv (Cornell University)|Feb 13, 2021

Machine Learning and Data Classification参考文献 40被引用数 9

ひとこと要約

本稿は、ガウス混合属性を有する文脈的確率的ブロックモデルを用いた半教師ありノード分類におけるグラフ畳み込みを研究する。グラフ畳み込みが、$D$ をノードの期待次数として、線形分離可能性を約 $1/\sqrt{D}$ 倍向上させることを示し、学習データとは異なるクラス内・クラス間エッジ確率を有する分布外のグラフに対しても一般化を可能にする。

ABSTRACT

Recently there has been increased interest in semi-supervised classification in the presence of graphical information. A new class of learning models has emerged that relies, at its most basic level, on classifying the data after first applying a graph convolution. To understand the merits of this approach, we study the classification of a mixture of Gaussians, where the data corresponds to the node attributes of a stochastic block model. We show that graph convolution extends the regime in which the data is linearly separable by a factor of roughly $1/\sqrt{D}$, where $D$ is the expected degree of a node, as compared to the mixture model data on its own. Furthermore, we find that the linear classifier obtained by minimizing the cross-entropy loss after the graph convolution generalizes to out-of-distribution data where the unseen data can have different intra- and inter-class edge probabilities from the training data.

研究の動機と目的

• 実験的実践を越えて、グラフ畳み込みの理論的利点を理解すること。
• ガウス混合成分を有する確率的ブロックモデルにおける、グラフ畳み込みがノード属性の線形分離可能性に与える影響を分析すること。
• エッジ確率構造が学習データとは異なる分布外のグラフに対して、グラフ畳み込み済みデータで訓練された分類器の一般化性能を評価すること。
• 変動するグラフおよびノイズパラメータ下でのロジスティック回帰の一般化誤差に対する理論的バウンドを確立すること。

提案手法

• 研究は、ノード属性がガウス混合モデルに従い、エッジが確率的ブロック構造に従う文脈的確率的ブロックモデル（CSBM）を用いる。
• グラフ畳み込みは、ノードの近隣ノードに対する単純な平均化操作としてモデル化され、正規化の仕方によって $\tilde{X} = (I + A)^{-1}X$ や類似の式で特徴量が変換される。
• 線形分離可能性は、畳み込み済み特徴量で訓練されたロジスティック分類器のマージンを調べることで分析され、集中不等式を用いて理論的バウンドが導出される。
• 分布外データへの一般化は、テストグラフにおけるクラス内・クラス間エッジ確率 $p'$ と $q'$ が異なる場合の分類器の性能を比較することで研究される。
• 理論的分析は、ガウス分布の平均の幾何的性質と、特に有効抵抗およびエッジ確率の差に注目したグラフのスペクトル特性を活用する。
• 指数的尾部不等式を用いて損失バウンドを導出し、交差エントロピー損失がマージン $R\gamma\Gamma(p',q')$ に従って指数的に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みは、半教師あり設定においてノード属性の線形分離可能性をどの程度向上させるか？
• RQ2 ノードの期待次数 $D$ は、グラフ畳み込みによる線形分離可能性の向上にどのように影響するか？
• RQ3 エッジ確率構造が学習データとは異なる分布外のグラフに対し、グラフ畳み込み済みデータで訓練された分類器は一般化可能か？
• RQ4 標準的なロジスティック回帰と比較して、グラフ畳み込みが提供する理論的マージン改善はどの程度か？
• RQ5 クラス内（$p$）およびクラス間（$q$）エッジ確率の差は、グラフ畳み込みモデルの性能にどのように影響するか？

主な発見

• グラフ畳み込みにより、データが線形分離可能となる領域が、$D$ をノードの期待次数として、約 $1/\sqrt{D}$ 倍拡大される。
• グラフ畳み込み後の最適線形分類器のマージンは $R\gamma\Gamma(p,q)$ とスケーリングされ、$\Gamma(p,q)$ はクラス内・クラス間エッジ確率の相対的差を捉える。
• 分布外データにおけるロジスティック分類器の一般化誤差は、$p'$ と $q'$ をテストグラフのエッジ確率として、$R\gamma\Gamma(p',q')$ に従って指数的に減少する。
• 実験的に、クラス内エッジ確率がクラス間エッジ確率に近い場合、グラフ畳み込みは性能を劣化させる可能性があり、グラフ構造に敏感であることが示された。
• 理論的バウンドにより、分布外データにおける交差エントロピー損失が $C \exp(-R\gamma\Gamma(p',q')(1-o(1)))$ で上界付けられることを示し、有利なグラフ条件のもとで強い一般化が実現可能であることを示唆する。
• 平均の凸包条件などの幾何的制約の下で、結果は $k$-クラスの場合へも拡張可能である。