[論文レビュー] Discriminative structural graph classification

Younjoo Seo, Andreas Loukas+1 more|arXiv (Cornell University)|May 31, 2019

Advanced Graph Neural Networks参考文献 33被引用数 11

ひとこと要約

本稿では、構造的グラフ分類における一般化性能の向上を目的として、和およびヒストグラムベースの集約関数を用いた、上限付きの識別能力を有するグラフニューラルネットワーク（GNN）を提案する。階層的なノードおよびグラフ埋め込みネットワークと、ランダムサンプリングおよびワンホットノード表現を組み合わせることで、14のベースライン（WLカーネルおよびGNNを含む）を上回る最先端の性能を9つのベンチマークデータセットで達成する。

ABSTRACT

This paper focuses on the discrimination capacity of aggregation functions: these are the permutation invariant functions used by graph neural networks to combine the features of nodes. Realizing that the most powerful aggregation functions suffer from a dimensionality curse, we consider a restricted setting. In particular, we show that the standard sum and a novel histogram-based function have the capacity to discriminate between any fixed number of inputs chosen by an adversary. Based on our insights, we design a graph neural network aiming, not to maximize discrimination capacity, but to learn discriminative graph representations that generalize well. Our empirical evaluation provides evidence that our choices can yield benefits to the problem of structural graph classification.

研究の動機と目的

• グラフニューラルネットワークにおける識別能力と一般化性能のトレードオフを解消すること。
• 任意の固定サイズの入力集合を、悪意ある選択に対しても区別可能な、上限付きの単射性を有する集約関数の設計。
• 最大の識別能力を優先するのではなく、一般化性能を最優先とするGNNアーキテクチャの開発。
• ヒストグラムベースの集約とサンプリングベースのプーリングの構造的グラフ分類における有効性の評価。
• 理論的な単射性仮定に基づく限界を超えて、実用的なGNN性能が上限に達することの実証。

提案手法

• 2段階のアーキテクチャを採用：ノード埋め込みネットワークに続く、ノード埋め込みのランダムサブセットを処理するグラフ埋め込みネットワーク。
• ユニバーサル近似器の後にヒストグラムベースの集約関数を適用し、上限付きの単射性を保証。
• ノード埋め込みのランダムサンプリング（復元抽出）を適用して計算負荷を低減するとともに、モデルの正則化を間接的に実現。
• ノードの構造的役割を符号化するために、ノード埋め込みネットワークへの入力としてワンホット表現を用いる。
• グローバル集約の前に、ノード埋め込みにグラフ畳み込み層を適用し、空間的分布パターンを捉える。
• 10回のサンプリング実現のログitを平均化することで、テスト時の分散を制御。

実験結果

リサーチクエスチョン

• RQ1 上限付きの識別能力を有する集約関数は、最大単射性を有するものよりも一般化性能が優れているか？
• RQ2 ヒストグラムベースの集約は、和集約と同等の識別力を持つが、パラメータ数を減らせるか？
• RQ3 ノード埋め込みのランダムサンプリングは、一般化性能の向上と過学習の低減に寄与するか？
• RQ4 提案されたGNNは、構造的グラフ分類において最先端のグラフカーネルおよびGNNと比較してどのように性能を発揮するか？
• RQ5 理論的な単射性の上限が、実用的なGNN性能にどの程度制限を及えるか？

主な発見

• 提案されたGNNは9つのベンチマークデータセットで競争力のある精度を達成し、6つのグラフカーネルおよび8つのGNNを含む14のベースラインを頻繁に上回る。
• Weisfeiler-Lehmanグラフカーネルを上回る性能を示し、単射性集約が高性能を達成するために必須であるという仮定に疑問を呈する。
• ヒストグラムベースの集約は、和集約と同等の識別力を持つが、パラメータ数が少ない。
• ノード埋め込みのランダムサンプリングは計算負荷を低減し、一般化性能を向上させる。小規模なグラフでは、全セット集約を上回ることすらある。
• 複数のサンプリング実現においてモデルの性能が安定しており、10回の実行の平均化によりテスト時の分散が制御されている。
• 理論的分析により、単射性集約関数は次元の爆発的増加（指数的 Curse of Dimensionality）に苦しむことが確認され、実世界の一般化には実用的でないことが示された。