[論文レビュー] Fundamental Limits of Deep Graph Convolutional Networks

Abram Magner, Mayank Baranwal+1 more|arXiv (Cornell University)|Oct 28, 2019

Advanced Graph Neural Networks参考文献 34被引用数 5

ひとこと要約

本稿は、グラフオンによってパrameter化された異なるランダムグラフモデルを区別する能力に関する、深層グラフ畳み込みネットワーク（GCN）の根本的な理論的限界を確立する。非線形活性化関数を備えたGCNは、グラフサイズに対して対数的である場合、次数プロファイルの類縁性という性質のため、互いに明確に分離されたグラフオンを区別できないことが示され、この範囲外ではより単純なアーキテクチャで十分である。実験的結果は、実際の応用において区別不能なグラフ分布が生じることを確認している。

ABSTRACT

Graph convolutional networks (GCNs) are a widely used method for graph representation learning. To elucidate the capabilities and limitations of GCNs, we investigate their power, as a function of their number of layers, to distinguish between different random graph models (corresponding to different class-conditional distributions in a classification problem) on the basis of the embeddings of their sample graphs. In particular, the graph models that we consider arise from graphons, which are the most general possible parameterizations of infinite exchangeable graph models and which are the central objects of study in the theory of dense graph limits. We give a precise characterization of the set of pairs of graphons that are indistinguishable by a GCN with nonlinear activation functions coming from a certain broad class if its depth is at least logarithmic in the size of the sample graph. This characterization is in terms of a degree profile closeness property. Outside this class, a very simple GCN architecture suffices for distinguishability. We then exhibit a concrete, infinite class of graphons arising from stochastic block models that are well-separated in terms of cut distance and are indistinguishable by a GCN. These results theoretically match empirical observations of several prior works. To prove our results, we exploit a connection to random walks on graphs. Finally, we give empirical results on synthetic and real graph classification datasets, indicating that indistinguishable graph distributions arise in practice.

研究の動機と目的

• GCNが、特にグラフオンによってパrameter化された異なるランダムグラフモデルを区別できる能力を理論的に分析すること。
• 層の数と非線形性の有無がGCNの区別力に与える影響を調査すること。
• GCNが理論的に潜在的に可能であるにもかかわらず、グラフオンを区別できない条件を同定すること。
• GCNの挙動をグラフ上のランダムウォークの混合時間と次数プロファイルの性質に関連付けること。
• 合成および実際のグラフデータセットを用いた実験的結果により、理論的考察を検証すること。

提案手法

• 無限に交換可能なランダムグラフモデルの最も一般なパラメータ化としてグラフオンを用い、密度グラフの極限におけるグラフ分布を表現する。
• GCNの挙動をグラフ上のランダムウォークとの関連づけ、ノード特徴量の層間伝搬をマルコフ過程としてモデル化する。
• 2つのグラフオンからの出力分布の区別可能性を測るため、全変動距離を用いる。
• 無限層極限への収束に必要な層数の上限を求めるために、ランダムウォークの混合時間解析を適用する。
• GCNがグラフオンを区別できない主要な条件として、次数プロファイルの類縁性を導入する。
• カップリング論法と集中不等式を用いて、グラフオンを区別する際の誤差確率の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 非線形活性化関数を備えた深層GCNが、カット距離で明確に分離された2つのグラフオンを、対数的グラフサイズの深さを持つ場合に、なぜ区別できないのか。
• RQ2 GCNの深さが、その下位にあるランダムウォークの混合時間とどのように関係して、グラフオンを区別する能力に影響を与えるか。
• RQ3 グラフの次数プロファイル構造が、GCNの区別力に果たす役割は何か。
• RQ4 十分な深さと非線形性を持つGCNは、特定の例外クラスに属さない任意の2つのグラフオンを信頼性を持って区別できるか。
• RQ5 GCNのグラフ分類における限界に関する実験的観察が、理論的分析とどの程度整合するか。

主な発見

• 非線形活性化関数を備えたGCNは、ノード数に対して対数的である場合、次数プロファイルの類縁性という性質のため、特定のグラフオンのペアを区別できない。
• 次数プロファイル条件によって特定された例外クラスに属さないグラフオンについては、非常に単純なGCNアーキテクチャでも十分に区別可能である。
• カット距離で明確に分離されたが、次数プロファイルの類縁性のためGCNによって区別不能な、無限個のスチュアティックブロックモデルグラフオンのクラスが実際に存在する。
• このような2つのグラフオンに対してGCNが生成する出力分布間の全変動距離は1から離れているため、分類の最適誤差確率に非自明な下限が存在する。
• 合成および実際のグラフデータセットを用いた実験的結果により、理論的考察が実際の状況でも成立することが確認された。
• 埋め込み次元を増加させることで、グラフオン区別性能が向上する可能性があるが、これはさらなる調査を要する。