[論文レビュー] InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization

Fan-Yun Sun, Jordan Hoffmann+2 more|arXiv (Cornell University)|Jul 31, 2019

Machine Learning in Materials Science被引用数 256

ひとこと要約

InfoGraphは、グラフレベルの表現と多様なスケールの部分構造間の相互情報を最大化することで固定長のグラフ埋め込みを学習する。InfoGraph*はこれを半教師付き学習に拡張し、無監督表現と監督表現を揃える。

ABSTRACT

This paper studies learning the representations of whole graphs in both\nunsupervised and semi-supervised scenarios. Graph-level representations are\ncritical in a variety of real-world applications such as predicting the\nproperties of molecules and community analysis in social networks. Traditional\ngraph kernel based methods are simple, yet effective for obtaining fixed-length\nrepresentations for graphs but they suffer from poor generalization due to\nhand-crafted designs. There are also some recent methods based on language\nmodels (e.g. graph2vec) but they tend to only consider certain substructures\n(e.g. subtrees) as graph representatives. Inspired by recent progress of\nunsupervised representation learning, in this paper we proposed a novel method\ncalled InfoGraph for learning graph-level representations. We maximize the\nmutual information between the graph-level representation and the\nrepresentations of substructures of different scales (e.g., nodes, edges,\ntriangles). By doing so, the graph-level representations encode aspects of the\ndata that are shared across different scales of substructures. Furthermore, we\nfurther propose InfoGraph*, an extension of InfoGraph for semi-supervised\nscenarios. InfoGraph* maximizes the mutual information between unsupervised\ngraph representations learned by InfoGraph and the representations learned by\nexisting supervised methods. As a result, the supervised encoder learns from\nunlabeled data while preserving the latent semantic space favored by the\ncurrent supervised task. Experimental results on the tasks of graph\nclassification and molecular property prediction show that InfoGraph is\nsuperior to state-of-the-art baselines and InfoGraph* can achieve performance\ncompetitive with state-of-the-art semi-supervised models.\n

研究の動機と目的

• 無監督および半教師付き設定でうまく機能するグラフレベル表現を動機づけ、開発する。
• 手作業で設計されたグラフカーネルや部分木中心の表現の限界を克服する。
• グラフ内のスケール間で共有情報を捉えるために相互情報を活用する。

提案手法

• GNNとREADOUT関数を用いてグラフレベル表現とパッチ（ノード/エッジ/三角形）表現を定義する。
• Jensen-Shannon MI推定量を用いてグローバルなグラフ表現とパッチ表現間の相互情報を最大化する。
• バッチ単位のネガティブサンプリングを用いて、正しいグローバル-パッチ対と誤った対を識別する識別器を訓練する。
• 半教師付き学習（InfoGraph*）のために二重エンコーダー構成を採用し、層を横断して無監督表現と監督表現間の相互情報を強制する。
• 半教師付き設定では、監督損失と無監督InfoGraph損失、および負の転移を緩和する相互情報転送項を組み合わせる（式8）。
• 識別器は（グローバル表現、パッチ表現）ペア上で動作し、式(5)のようにMIを推定する。

実験結果

リサーチクエスチョン

• RQ1 複数スケールの部分構造との相互情報を最大化することによって、グラフレベルの埋め込みを無監督で効果的に学習できるか？
• RQ2 InfoGraphはグラフ分類ベンチマークにおいて最先端の無監督グラフ表現法を上回るか？
• RQ3 半教師付き拡張（InfoGraph*）はラベルなしデータを活用して分子性質予測の性能を改善できるか？
• RQ4 無監督と監督エンコーダ間の相互情報ベースの転送は、グラフのSSLにおける負の転移を緩和するか？

主な発見

データセット	RW	SP	GK	WL	DGK	MLG	InfoGraph	graph2vec	InfoGraph*
MUTAG	83.72±1.50	85.22±2.43	81.66±2.11	80.72±3.00	87.44±2.72	87.94±1.61	89.01±1.13	83.15±9.25	-
PTC-MR	57.85±1.30	58.24±2.44	57.26±1.41	57.97±0.49	60.08±2.55	63.26±1.48	61.65±1.43	60.17±6.86	-
REDDIT-BINARY	-	64.11±0.14	77.34±0.18	68.82±0.41	78.04±0.39	> 1 Day	82.50±1.42	75.78±0.26	-
REDDIT-MULTI-5K	-	39.55±0.22	41.01±0.17	46.06±0.21	41.27±0.18	-	53.46±1.03	-	-
IMDB-BINARY	50.68±0.26	55.60±0.22	65.87±0.98	72.30±3.44	66.96±0.56	66.55±0.25	73.03±0.87	-	-
IMDB-MULTI	-	37.99±0.30	43.89±0.38	46.95±0.46	44.55±0.52	41.17±0.03	49.69±0.53	-	-

• InfoGraphは6つのグラフ分類ベンチマークで、いくつかの最先端グラフカーネルと無監督のベースラインを上回る。
• InfoGraphは半教師付き設定で分子性質予測の競争力のある結果を達成し、多くの場合Mean Teacherベースラインを上回る。
• InfoGraph*はQM9の全ターゲットで監督モデルを一貫して上回り、強力な半教師付き性能を実現。
• バッチ単位のネガティブサンプリング戦略とGraph Isomorphism Network (GIN) エンコーダの使用が、強力な実証結果に寄与する。
• このアプローチは、相互情報に基づくマルチスケールパッチとの学習によってグラフレベル表現を得ることが、無監督および半監督の両方のグラフタスクに有効なパラダイムであることを示している。