[論文レビュー] Universal Self-Attention Network for Graph Classification

Dai Quoc Nguyen, Tu Dinh Nguyen+1 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Graph Neural Networks被引用数 13

ひとこと要約

U2GNNは、トランスフォーマーに基づく自己注意機構と繰り返しメッセージパッシングを活用して、強化されたノード埋め込みを学習し、それらをグラフレベルの表現に集約する、ユニバーサルな自己注意グラフニューラルネットワークを提案する。これは、教師ありおよび教師なしのグラフ分類の両方で最先端の性能を達成し、教師なし事前学習を介して分類精度を向上させることに成功した最初のGNNベースのモデルである。

ABSTRACT

Existing graph neural network-based models have biasedly used a supervised setting for graph classification, and they often share the conventional limitations in exploiting potential dependencies among nodes. To this end, we present U2GNN -- a novel embedding model leveraging the strength of the transformer self-attention network -- to learn low-dimensional embeddings of graphs. In particular, given an input graph, U2GNN applies a self-attention mechanism followed by a recurrent transition to update vector representation of each node from its neighbors. Thus, U2GNN can address the limitations in the existing models to produce plausible node embeddings whose sum is the final embedding of the whole graph. Experimental results in both supervised and unsupervised settings show that our U2GNN achieves new state-of-the-art performances on a range of well-known benchmark datasets for the graph classification task. To the best of our knowledge, this is the first work to train a GNN-based model in the unsupervised setting to improve classification performance.

研究の動機と目的

• 従来のグラフニューラルネットワークが教師あり学習に大きく依存しており、ノード間の深い依存関係を十分に活用できないという限界を解消すること。
• 自己注意メカニズムを用いて、グラフ内の長距離依存関係を効果的に捉える統一的フレームワークの構築。
• GNNにおいてほとんど未開拓とされる教師なし設定において、効果的なグラフ分類を可能にすること。
• 強化されたノード表現を集約することで、高品質で低次元のグラフ埋め込みを生成すること。
• 教師なし事前学習が、下流のグラフ分類性能を顕著に向上させられることを実証すること。

提案手法

• U2GNNは、隣接ノードからの文脈的情報に基づいて、ノード表現を自己注意機構を用いて更新する。
• 繰り返し遷移メカニズムを用いて、複数ラウンドのメッセージパッシングを通じて、ノード埋め込みを段階的に改善する。
• ノード表現は、直接の隣接ノードにとどまらず、グラフ内のすべての他のノードに注目することで、長距離依存関係を捉える。
• 最終的なグラフ埋め込みは、更新されたノード埋め込みの合計によって得られ、グローバルなグラフレベルの表現を形成する。
• モデルは教師ありおよび教師なしの両設定でエンドツーエンドで訓練され、教師なし事前学習により下流の性能が向上する。
• アーキテクチャはユニバーサルに設計されており、構造の変更なしに多様なグラフ分類タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、グラフ構造データにおけるノード間の複雑な依存関係を効果的に捉えることができるか？
• RQ2 GNNベースのモデルの教師なし事前学習が、グラフ分類タスクの性能向上に寄与するか？
• RQ3 提案されたメッセージパッシング機構は、従来のGNNの集約戦略と比較して、表現品質に優れているか？
• RQ4 自己注意と再帰的処理の組み合わせが、ノードおよびグラフ埋め込みの品質をどの程度向上させるか？
• RQ5 統一されたアーキテクチャが、教師ありおよび教師なしのグラフ分類ベンチマークの両方で最先端の結果を達成できるか？

主な発見

• U2GNNは、教師ありおよび教師なしの両設定において、複数のベンチマークデータセットで新たな最先端性能を達成した。
• 教師なし事前学習フェーズが、下流の分類精度を顕著に向上させ、GNNにおける自己教師学習の有効性を示した。
• 自己注意機構により、標準的なメッセージパッシングGNNと比較して、長距離依存関係のモデリングがより優れたものとなった。
• 再帰的遷移メカニズムにより、段階的な改善によってノード表現学習が強化された。
• 更新されたノード表現の合計から得られる最終的なグラフ埋め込みは、高い識別力とコンパクトさを持つグラフレベル特徴を生成した。
• 本研究は、GNNベースのモデルの教師なし学習が、グラフ分類性能の向上に寄与することを初めて示した。