[論文レビュー] Unsupervised Inductive Graph-Level Representation Learning via Graph-Graph Proximity

Yunsheng Bai, Hao Ding+6 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Graph Neural Networks参考文献 71被引用数 19

ひとこと要約

UGraphEmb は、マルチスケールノードアテンションとグラフ同士の類似度メトリクス（例：グラフ編集距離 (GED) や最大共通部分グラフ (MCS)）を用いて、グラフ同士の類似度を保持する非教師ありで帰納的なグラフレベル表現学習フレームワークを提案する。トレーニング時にラベルを必要とせず、5つの実世界データセットにおいてグラフ分類、類似度ランク付け、可視化の面で最先端の性能を達成する。

ABSTRACT

We introduce a novel approach to graph-level representation learning, which is to embed an entire graph into a vector space where the embeddings of two graphs preserve their graph-graph proximity. Our approach, UGRAPHEMB, is a general framework that provides a novel means to performing graph-level embedding in a completely unsupervised and inductive manner. The learned neural network can be considered as a function that receives any graph as input, either seen or unseen in the training set, and transforms it into an embedding. A novel graph-level embedding generation mechanism called Multi-Scale Node Attention (MSNA), is proposed. Experiments on five real graph datasets show that UGRAPHEMB achieves competitive accuracy in the tasks of graph classification, similarity ranking, and graph visualization.

研究の動機と目的

• 未学習のグラフに一般化可能な、非教師ありで帰納的なグラフレベル表現学習手法の不足を解消すること。
• グラフレベルのラベルに依存せずに、グラフ同士の類似度を保持するようにグラフ埋め込みを学習するフレームワークの開発。
• 異なるグラフ構造スケールにおけるノード埋め込みを統合する、新しいマルチスケールアテンションメカニズムの導入。
• 自然言語処理の事前学習（例：BERT）に類似した、グラフデータにおける事前学習を可能にし、微調整を用いて下流タスクに適用すること。
• ラベルが存在しない状況で、ドメインに依存しない類似度メトリクス（GED、MCS）を教師信号として用いる有効性の実証。

提案手法

• UGraphEmb は、ペアワイズのグラフ類似度スコア（例：GED、MCS）から構築されたハイパーレベルグラフを用いて、グラフレベル埋め込み学習のための教師信号を定義する。
• マルチスケールノードアテンション（MSNA）メカニズムを採用し、グラフ同型性ネットワーク（GIN）の複数層からのノード埋め込みを統合することで、異なるスケールの構造的情報を捉える。
• 任意の入力グラフ（学習時に見られたものかどうかにかかわらず）を、元のグラフ同士の類似度を保持する固定次元の埋め込み空間にマップするためのニューラルネットワークを訓練する。
• フレームワークは、類似度メトリクスを用いて非教師ありで事前学習され、その後、分類などの下流タスク用に教師あり損失を用いて微調整される。
• GED、MCS、グラフレットカーネル（GK）などの類似度メトリクスを教師信号として用い、GED と MCS が優れた性能を示す。
• 異なる GIN 層からのノード埋め込みに対して学習可能なアテンションメカニズムを用いることで、単純な平均化や単一層の集約よりも優れた性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 グラフ同士の類似度を保持することで、完全に非教師ありかつ帰納的な形でグラフレベル表現を学習できるか？
• RQ2 ノード埋め込みのマルチスケール集約は、単一スケールまたは平均プーリングと比較して、どのようにグラフレベル表現の質を向上させるか？
• RQ3 異なるグラフ類似度メトリクス（GED、MCS、GK）は、学習された埋め込みの性能にどのように影響するか？
• RQ4 類似度信号を用いた事前学習は、グラフ分類や類似度ランク付けなどの下流タスクにどの程度効果をもたらすか？
• RQ5 トレーニング時に存在しなかった未観測のグラフに一般化できるか、また、構造的類似度をどの程度正確に保持できるか？

主な発見

• UGraphEmb は、ImdbM データセットにおいて GED を類似度メトリクスとして用いた場合、50.06% の精度を達成し、ベースライン手法を上回る。
• マルチスケールノードアテンション（MSNA）メカニズムが最高の性能（50.06% の精度）を示し、単純な平均化（34.73%）や単一層集約（49.51%）を顕著に上回る。
• GED や MCS を類似度メトリクスとして用いることで、ヒューリスティックなグラフレットカーネル（GK）よりも同等または優れた性能が得られ、GK ではたった 43.17% の精度にとどまる。
• MSNA メカニズムに GIN の層を増やすことで性能が向上し、ImdbM では 5 層で最も高い 50.67% の精度を記録する。
• モデルは効果的な類似度ランク付けと可視化を可能にし、埋め込みがグラフ同士の類似度を保持しており、意味のある 2D 投影を可能にする。
• 類似度を保持する埋め込みを微調整することで、下流の分類タスクにおける性能が向上し、事前学習の有用性を示している。