[論文レビュー] Graph Representation Learning via Graphical Mutual Information Maximization

Zhen Peng, Wenbing Huang+5 more|arXiv (Cornell University)|Feb 4, 2020

Advanced Graph Neural Networks参考文献 41被引用数 45

ひとこと要約

本論文は、Graphical Mutual Information (GMI) を導入し、FMIベースの分解と MINEベースの推定を用いて、入力グラフ（特徴とトポロジー）とノードレベルの出力の相互情報を最大化することで教師なしにグラフ埋め込みを学習する。ノード分類とリンク予測で高い性能を示す。

ABSTRACT

The richness in the content of various information networks such as social networks and communication networks provides the unprecedented potential for learning high-quality expressive representations without external supervision. This paper investigates how to preserve and extract the abundant information from graph-structured data into embedding space in an unsupervised manner. To this end, we propose a novel concept, Graphical Mutual Information (GMI), to measure the correlation between input graphs and high-level hidden representations. GMI generalizes the idea of conventional mutual information computations from vector space to the graph domain where measuring mutual information from two aspects of node features and topological structure is indispensable. GMI exhibits several benefits: First, it is invariant to the isomorphic transformation of input graphs---an inevitable constraint in many existing graph representation learning algorithms; Besides, it can be efficiently estimated and maximized by current mutual information estimation methods such as MINE; Finally, our theoretical analysis confirms its correctness and rationality. With the aid of GMI, we develop an unsupervised learning model trained by maximizing GMI between the input and output of a graph neural encoder. Considerable experiments on transductive as well as inductive node classification and link prediction demonstrate that our method outperforms state-of-the-art unsupervised counterparts, and even sometimes exceeds the performance of supervised ones.

研究の動機と目的

• グラフ内の豊富な内容情報とリンク情報を活用するため、ラベルなしの教師なしグラフ表現学習を動機づける。
• グラフ同型性に不変で、ノードレベルの学習にスケーラブルな、グラフ領域の相互情報目的を定義する。
• ノード特徴と隣接ノードとの間の扱いやすい局所MIへと、トポロジーを考慮した重み付けを用いて、グラフ的相互情報を分解する。
• 下流タスクの表現力豊かなノード埋め込みを生成するために、GMIを最適化する実用的なエンコーダー–デコーダー様のフレームワークを提案する。

提案手法

• ノード埋め込みと隣接特徴量との間の Feature Mutual Information (FMI) を定義し、局所MIの加重和を生じさせる分解を示す。
• FMIをトポロジーを考慮した重み w_ij および重みとエッジ特徴量を結ぶ I(w_ij; a_ij) の第二項を拡張して Graphical Mutual Information (GMI) を導入する。
• ノードレベルで I(h_i; x_j) を推定するために、JSDベースの目的を用いた Mutual Information Neural Estimation (MINE) を用い、扱いやすい最適化を可能にする。
• MI推定のために二次形式識別器 D(h_i, x_j) を採用し、トポロジ的近接性を反映する訓練可能なアテンション様の重み w_ij = σ(h_i^T h_j) を許す。
• 2つの実装バリアントを提供する: GMI-adaptive (w_ij = σ(h_i^T h_j)) および GMI-mean (定数重み 1/i_n)。
• 標準的な GCN エンコーダを利用し、転導的・帰納的タスクのために GMI目的を最大化するようにエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 入力グラフとノードレベルの埋め込みとの間で、無監督に相互情報をどのように定義し最大化できるか。
• RQ2 ノード特徴とトポロジーの両方を取り入れたグラフ領域のMI目的は、既存の無監督手法より優れた表現を生み出すことができるか。
• RQ3 FMIベースの分解とトポロジーを考慮した重みによって、スケーラブルで置換不変なグラフ表現学習が可能か。
• RQ4 GMIベースの埋め込みは、さまざまなデータセット（転導的および帰納的を含む）において、ノード分類およびリンク予測でベースラインと同等または優れた性能を達成するか。

主な発見

• GMIは、相互情報を局所MIの重み付き和とトポロジー項に分解することにより、トポロジー不変で扱いやすい目的を提供する。
• MINE（JSD推定器を介して）でGMIを最大化することで、ノード分類とリンク予測の両方に利用できる表現力豊かなノード埋め込みが得られる。
• 実験結果は、提案手法が最先端の無監督法を上回り、いくつかのベンチマークで監督あり手法の一部を上回ることもあることを示している。
• この手法は転導的・帰納的設定の双方をサポートし、さまざまなグラフタイプ（引用ネットワーク、ソーシャルネットワーク、タンパク質ネットワーク）に対して頑健性を示す。
• 2つのバリアント（GMI-adaptive と GMI-mean）は適応的重み付けと単純さのトレードオフを提供し、実験で競争力のある性能を示す。