[論文レビュー] On the Equivalence between Positional Node Embeddings and Structural Graph Representations

Balasubramaniam Srinivasan, Bruno Ribeiro|arXiv (Cornell University)|Oct 1, 2019

Advanced Graph Neural Networks被引用数 24

ひとこと要約

本論文は不変理論を用いて、位置的ノード埋め込みと構造的グラフ表現の間の理論的同等性を確立し、それらが数学的に双対的であることを示している—分布とその標本のようである。これにより、相互にタスクを移行可能となる。すべてのノード埋め込みで解けるタスクは構造的表現でも解けるし、逆も同様であることを証明している。また、これらの表現に特有の帰属としての誘導的／非誘導的学習の誤解を解き、埋め込み作成のための新たな実用的ガイドラインを提供している。

ABSTRACT

This work provides the first unifying theoretical framework for node (positional) embeddings and structural graph representations, bridging methods like matrix factorization and graph neural networks. Using invariant theory, we show that the relationship between structural representations and node embeddings is analogous to that of a distribution and its samples. We prove that all tasks that can be performed by node embeddings can also be performed by structural representations and vice-versa. We also show that the concept of transductive and inductive learning is unrelated to node embeddings and graph representations, clearing another source of confusion in the literature. Finally, we introduce new practical guidelines to generating and using node embeddings, which fixes significant shortcomings of standard operating procedures used today.

研究の動機と目的

• ノード埋め込みと構造的グラフ表現の関係について、長年の文献における混乱を解消すること。
• 行列分解、単語埋め込み、グラフニューラルネットワークを共通の数学的基盤の下に統合する理論的枠組みを確立すること。
• 誘導的学習と非誘導的学習がノード埋め込みや構造的表現に内在する性質ではないことを明確にすること。
• 現在の標準手順を超える、実証的根拠に基づいたノード埋め込みの生成と利用のための新たなガイドラインを提供すること。

提案手法

• 不変理論を用いて、構造的表現（不変量として）とノード埋め込み（分布の標本として）の双対性を形式化する。
• 公理的反事後的推論を適用し、ノード埋め込みと構造的表現の関数的同等性を分析する。
• ノード埋め込みを潜在変数モデルからの標本として定式化し、構造的表現をこれらの標本上の置換不変関数として定義する。
• 部分集合のノードに対する平均化を用いて、ノード埋め込みから構造的表現をモンテカルロ標本に基づいて推定する手法を導入する。
• 置換不変関数と再パrameter化を用いて、ノード埋め込みから構造的表現に変換するアルゴリズム（アルゴリズム2）と、その逆に変換するアルゴリズム（アルゴリズム1）を設計する。
• Citeseerおよび他のデータセットを用いたノード分類、リンク予測、三元組予測の実験を通じて、フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 位置的ノード埋め込みと構造的グラフ表現の間に根本的な理論的同等性があるか？
• RQ2 ノード埋め込みで実行可能なすべてのタスクが構造的表現でも実行可能であり、逆も同様に成り立つか？
• RQ3 グラフニューラルネットワークは表現力のある構造的表現を持つにもかかわらず、なぜリンク予測に失敗するのか？
• RQ4 ノード埋め込みと構造的表現の文脈において、誘導的／非誘導的学習の区別は意味を持つのか？
• RQ5 堅牢で効果的なノード埋め込みを生成するための正しい設計原則は何か？

主な発見

• ノード埋め込みと構造的表現は、標本と分布の双対性として、すべてのタスクが互いに解ける。
• 20個のモンテカルロ標本を用いたMC-SVD法が、Citeseerにおけるノード分類で最高のmicro-F1スコア0.737 ± 0.005を達成し、GINおよびRP-GINモデルを上回った。
• 20個の標本を用いたCGNNはリンク予測でF1スコア0.654 ± 0.049を達成し、標準GNNを著しく上回り、構造的表現推定の価値を示した。
• 1-2-3 GNNモデルは全タスクで著しく低い性能を示し、ノード分類のF1スコアはたった0.189 ± 0.026にとどまり、ナーブなGNNアーキテクチャの限界を浮き彫りにした。
• モンテカルロ標本に基づくノード埋め込みからの構造的表現は、特にリンク予測およびノード分類において一貫した性能向上を達成した。
• 理論的分析と実証的結果により、誘導的／非誘導的学習の概念はノード埋め込みや構造的表現に内在するものではないことが示された。