[論文レビュー] Heterogeneous Deep Graph Infomax

Yuxiang Ren, Бо Лю+4 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Graph Neural Networks参考文献 44被引用数 66

ひとこと要約

HDGIは、メタパス誘導された意味論全体で局所情報とグローバル情報を最大化する教師なしグラフニューラルネットワークで、複数のメタパスを統合する意味レベルの注目機構を用います。監視なしでノード分類とクラスタリングで最先端の結果を達成します。

ABSTRACT

Graph representation learning is to learn universal node representations that preserve both node attributes and structural information. The derived node representations can be used to serve various downstream tasks, such as node classification and node clustering. When a graph is heterogeneous, the problem becomes more challenging than the homogeneous graph node learning problem. Inspired by the emerging information theoretic-based learning algorithm, in this paper we propose an unsupervised graph neural network Heterogeneous Deep Graph Infomax (HDGI) for heterogeneous graph representation learning. We use the meta-path structure to analyze the connections involving semantics in heterogeneous graphs and utilize graph convolution module and semantic-level attention mechanism to capture local representations. By maximizing local-global mutual information, HDGI effectively learns high-level node representations that can be utilized in downstream graph-related tasks. Experiment results show that HDGI remarkably outperforms state-of-the-art unsupervised graph representation learning methods on both classification and clustering tasks. By feeding the learned representations into a parametric model, such as logistic regression, we even achieve comparable performance in node classification tasks when comparing with state-of-the-art supervised end-to-end GNN models.

研究の動機と目的

• 異種グラフにおける教師なし表現学習の動機づけと課題への対処。
• メタパスを通じて多型ノード/エッジが豊かな意味を伝える様子をモデル化する。
• ラベルなしで根本表現を学習するためのMIベースの目的関数を提案する。
• メタパス特有のエンコーダと意味レベルの注目機構を活用して意味を融合する。
• ベースラインに対してノード分類とクラスタリングタスクで有効性を示す。

提案手法

• 多様な意味論のためのヘテログラフとメタパスベースの隣接行列を定義する。
• 各同質サブグラフ上でGCNまたはGATを用いてメタパス特異的なノード表現を計算する。
• 意味を意味レベルの注目機構で統合して結合ノード表現Hを得る。
• グローバルエンコーダでグラフレベルの要約ベクトルsを導出する（平均化、プーリング、またはSet2vec）。
• 局所ノード表現Hとグローバル要約sの相互情報を、負サンプリングを用いた識別器Dで最大化する。
• メタパス隣接を固定したままノード特徴をシャッフルしてNegペアを形成することで負サンプルを生成し、MIを下界する二項交差エントロピー損失で学習する。
• ラベルなしで表現を学習するエンドツーエンドのバックプロパゲーションによる訓練を提供する。

実験結果

リサーチクエスチョン

• RQ1 MIベースの目的は、同種グラフから異種グラフへ効果的に拡張できるか。
• RQ2 メタパスと意味レベルの注目機構は、HGsにおける多様な意味を捉え、堅牢な表現を生むか。
• RQ3 HDGIは監視付きGNNや他の教師なし手法と比べて、教師なしノード分類とクラスタリングでどのように性能を発揮するか。
• RQ4 異なるグローバルエンコーダ（平均化、プーリング、Set2vec）が学習表現に与える影響は。
• RQ5 負サンプリングの質は異種設定の相互情報最大化に影響を与えるか。

主な発見

Dataset	Train	Metric	Raw	M2V	DW	GCN	RGCN	GAT	HAN	DW+F	DGI	HDGI-A	HDGI-C
ACM	20%	Micro-F1	0.8590	0.6125	0.5503	0.9250	0.5766	0.9178	0.9267	0.8785	0.9104	0.9178	0.9227
ACM	20%	Macro-F1	0.8585	0.6158	0.5582	0.9248	0.5801	0.9172	0.9268	0.8789	0.9104	0.9170	0.9232
DBLP	20%	Micro-F1	0.7552	0.6985	0.2805	0.8192	0.1932	0.8244	0.8992	0.7163	0.8975	0.9062	0.9175

• HDGIは複数の異種データセットでノード分類とクラスタリングにおいて最先端の教師なし手法を上回る。
• HDGI-CとHDGI-Aは堅牢な結果を示し、ノード分類で supervised および HAN のベースラインを上回ることが多い。
• メタパスベースの注目機構は PAP, PSP, MAM, MDM, MKM などの意味を効果的に統合し、表現品質を向上させる。
• MIベースの目的は学習された識別器を用いて、局所属性を取り込みつつグローバルなグラフ情報を保持する表現を促進する。
• HDGIの教師なし表現は、単純な下流分類器と組み合わせた場合、エンドツーエンドの監視付きGNNモデルと競合するかそれを上回る。
• ACM, DBLP, IMDB のデータセットで、異なる HG 構造とメタデータに対するHDGIの頑健性を示す。