[論文レビュー] Universal Graph Transformer Self-Attention Networks

Dai Quoc Nguyen, Tu Dinh Nguyen+1 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Graph Neural Networks参考文献 9被引用数 5

ひとこと要約

本稿では、自己注意メカニズムを用いたトランスフォーマーに基づく自己注意機構を活用する、グラフ表現学習に特化した新規グラフニューラルネットワークUGformerを提案する。最初のバリアントは、スケーラビリティを高めるためにノードごとにサンプリングされた近傍ノードを用いる。このアプローチにより、ソーシャルネットワークやバイオインフォマティクス分野のデータセットで最先端の性能を達成する。第二のバリアントは、すべてのノードにトランスフォーマーを適用し、インダクティブなテキスト分類においても新たな最先端性能を達成する。

ABSTRACT

We introduce a transformer-based GNN model, named UGformer, to learn graph representations. In particular, we present two UGformer variants, wherein the first variant (publicized in September 2019) is to leverage the transformer on a set of sampled neighbors for each input node, while the second (publicized in May 2021) is to leverage the transformer on all input nodes. Experimental results demonstrate that the first UGformer variant achieves state-of-the-art accuracies on benchmark datasets for graph classification in both inductive setting and unsupervised transductive setting; and the second UGformer variant obtains state-of-the-art accuracies for inductive text classification. The code is available at: \url{https://github.com/daiquocnguyen/Graph-Transformer}.

研究の動機と目的

• 自己注意メカニズムを活用することで、グラフ表現学習を向上させるトランスフォーマーに基づくグラフニューラルネットワーク（GNN）の開発。
• 従来のGNNがグラフデータ内の長距離依存関係や複雑な構造的パターンを捉えることのできない限界を克服すること。
• ラベル付きデータが限られる状況において、対照的ノード埋め込み最適化を用いた教師なし推論的学習を検討し、グラフ分類のための手法を提案すること。
• 2種類の異なるUGformerバリアントを用いて、インダクティブなグラフ分類およびインダクティブなテキスト分類の両方で最先端の性能を達成すること。
• 大規模グラフおよび多様な下流タスクに適用可能なスケーラブルで効果的なグラフ表現学習フレームワークの提供。

提案手法

• UGformerバリアント1を提案：各ノードに対して均等にサンプリングされた近傍ノードの集合に対して、マルチヘッド自己注意を適用し、大規模グラフへのスケーラビリティを実現。
• すべての位置および時刻で重み行列を共有することで、パラメータ効率性と不変性を維持する。
• サンプリングされた近傍からの情報集約に基づき、反復的にノード表現を更新するためのトランスフォーマー層のスタックを適用。
• 教師なし推論的設定において、ノード埋め込みとその最終表現との類似性を最大化するための対照的損失関数を採用。
• 分類のためのグラフレベル表現を生成するために、ノード埋め込みの集約（合計集約）をグラフレベルプーリングに適用。
• 第二のUGformerバリアント（グラフ内すべてのノードに対する自己注意）を適用し、インダクティブなテキスト分類タスクにおけるフルアテンションモデリングを実現。

実験結果

リサーチクエスチョン

• RQ1 自己注意をノードの近傍に適用することで、従来のGNNを上回る性能を示せるか？　特にインダクティブなグラフ分類タスクにおいて。
• RQ2 サンプリングされた近傍ノードに自己注意を適用することは、グラフ表現学習における構造的情報を効果的に捉えられるか？
• RQ3 対照的ノード埋め込み最適化を用いた教師なし推論的学習アプローチは、ラベルが限られるグラフ分類ベンチマークで最先端の結果を達成できるか？
• RQ4 すべてのノードにわたるフルグラフ自己注意を適用することで、従来手法に比べてインダクティブなテキスト分類の性能が向上するか？
• RQ5 多様なグラフおよびテキスト分類データセットにおいて、UGformerは既存の最先端モデルと比較して、正確性および頑健性の面で優れているか？

主な発見

• UGformerバリアント1は、教師なし推論的設定においてCOLLABで95.62%、IMDB-Bで96.41%の最先端精度を達成し、DGKやAWEを上回った。
• バイオインフォマティクスデータセットDDでは、教師なし推論的設定で95.67%の精度を達成し、以前の最先端（73.50%、DGK）を大きく上回った。
• インダクティブなグラフ分類設定において、UGformerバリアント1はCOLLABで95.62%、IMDB-Bで96.41%、IMDB-Mで89.20%の精度を達成し、先行モデルを上回った。
• インダクティブなテキスト分類において、UGformerバリアント2は最先端の性能を達成し、IMDB-Mで89.20%、DDで95.67%の報告精度を示した。
• 教師なしUGformerバリアントは、uGCN（COLLABで93.28%）および他の教師なしベースラインを顕著に上回り、対照的学習目的の有効性を示した。
• MUTAGでは、教師なし設定で88.47%の精度を達成し、uGCNの95.36%をわずかに下回ったが、データセットが小規模（188グラフ）であることを考慮すると、依然として競争力のある性能を示した。