[論文レビュー] Deep Gaussian Embedding of Attributed Graphs: Unsupervised Inductive Learning via Ranking

Aleksandar Bojchevski, Stephan Günnemann|arXiv (Cornell University)|Jul 12, 2017

Advanced Graph Neural Networks被引用数 40

ひとこと要約

Graph2Gauss は、各ノードをガウス分布として表現することで、表現の不確実性を捉える非教師あり、帰納的なノード埋め込み手法を提案する。ノード間の距離に基づくパersonalized ランキング損失を用い、構造と属性を同時に活用することで、リンク予測およびノード分類において最先端の性能を達成するとともに、未観測ノードへの一般化を可能にする。

ABSTRACT

Methods that learn representations of nodes in a graph play a critical role in network analysis since they enable many downstream learning tasks. We propose Graph2Gauss - an approach that can efficiently learn versatile node embeddings on large scale (attributed) graphs that show strong performance on tasks such as link prediction and node classification. Unlike most approaches that represent nodes as point vectors in a low-dimensional continuous space, we embed each node as a Gaussian distribution, allowing us to capture uncertainty about the representation. Furthermore, we propose an unsupervised method that handles inductive learning scenarios and is applicable to different types of graphs: plain/attributed, directed/undirected. By leveraging both the network structure and the associated node attributes, we are able to generalize to unseen nodes without additional training. To learn the embeddings we adopt a personalized ranking formulation w.r.t. the node distances that exploits the natural ordering of the nodes imposed by the network structure. Experiments on real world networks demonstrate the high performance of our approach, outperforming state-of-the-art network embedding methods on several different tasks. Additionally, we demonstrate the benefits of modeling uncertainty - by analyzing it we can estimate neighborhood diversity and detect the intrinsic latent dimensionality of a graph.

研究の動機と目的

• 点ベースのノード埋め込みがグラフ表現における不確実性を捉えきれていないという限界を解消すること。
• 再訓練を必要とせず、未観測ノードにも一般化可能な非教師あり、帰納的手法を開発すること。
• ネットワーク構造とノード属性を統合的にモデリングし、表現学習の質を向上させること。
• 有向・無向・単純・属性付きグラフを含む多様なグラフタイプに適用可能であることを実現すること。
• 不確実性解析を通じた解釈可能性を提供すること、例えば近傍の多様性や潜在次元数の推定など。

提案手法

• 各ノードをガウス分布（平均と共分散）として埋め込むことで、その表現における不確実性をモデル化する。
• 埋め込み空間内のノード間距離に基づいてパersonalized ランキング損失を定式化し、グラフ構造が誘導する自然な順序を利用する。
• 対照的ランキング目的関数を用いて、ネットワークトポロジーとノード属性の両方を同時に最適化する。
• 各ノードごとに埋め込み関数をパラメータ化することで帰納的学習を達成し、以前に観測されていなかったノードの推論を可能にする。
• ランク付け目的関数により、構造的および属性的近接性の観点からより類似したノードが埋め込み空間で上位にランク付けされるように保証する。
• ラベル付きデータを一切必要としないエンドツーエンドの確率的最適化によりモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 点埋め込みと比較して、ノード表現をガウス分布としてモデル化することで、下流のグラフ学習タスクの性能が向上するか？
• RQ2 非教師あり、帰納的手法として、属性付きグラフにおける未観測ノードへの一般化能力はどの程度達成できるか？
• RQ3 ラベルなし状態で、構造と属性の統合的モデリングが表現品質をどのように向上させるか？
• RQ4 埋め込みの不確実性は、近傍の多様性や固有の潜在次元数といった構造的性質を明らかにできるか？
• RQ5 パersonalized ランキング目的関数は、既存の手法と比較してリンク予測およびノード分類の性能をどのように向上させるか？

主な発見

• Graph2Gauss は、リンク予測およびノード分類の両タスクにおいて、複数のベンチマークデータセットで最先端のネットワーク埋め込み手法を上回る性能を示した。
• ガウス埋め込みによる不確実性モデリングにより、近傍の多様性の推定が可能となり、局所的なグラフ構造に関する洞察が得られた。
• 不確実性解析により、元のグラフの固有の潜在次元数が明らかになり、複雑さのデータ駆動的測定が可能となった。
• 未観測ノードへの一般化が効果的に実現されており、再訓練を必要としない強力な帰納バイアスを示した。
• パersonalized ランキング目的関数は、構造的および属性ベースの類似性を効果的に捉えており、下流タスクの性能向上に寄与した。
• 実世界のネットワークを用いた実験により、大規模な属性付きグラフにおいても本手法のロバスト性とスケーラビリティが確認された。