[論文レビュー] Graph-Aware Transformer: Is Attention All Graphs Need?

Sanghyun Yoo, Young Seok Kim+5 more|arXiv (Cornell University)|Jun 9, 2020

Machine Learning in Materials Science参考文献 43被引用数 6

ひとこと要約

GRATは、自己注意機構に明示的なエッジ情報を組み込み、ノードおよびエッジ生成のための二経路的自己回帰的デコード機構を用いる、グラフからグラフへの学習を目的とした最初のエンド・ツー・エンドのTransformerベースのモデルである。QM9ベンチマークにおける4つの回帰タスクで最先端の性能を達成し、Transformerが一般化されたグラフ応用分野において強い潜在能力を示している。

ABSTRACT

Graphs are the natural data structure to represent relational and structural information in many domains. To cover the broad range of graph-data applications including graph classification as well as graph generation, it is desirable to have a general and flexible model consisting of an encoder and a decoder that can handle graph data. Although the representative encoder-decoder model, Transformer, shows superior performance in various tasks especially of natural language processing, it is not immediately available for graphs due to their non-sequential characteristics. To tackle this incompatibility, we propose GRaph-Aware Transformer (GRAT), the first Transformer-based model which can encode and decode whole graphs in end-to-end fashion. GRAT is featured with a self-attention mechanism adaptive to the edge information and an auto-regressive decoding mechanism based on the two-path approach consisting of sub-graph encoding path and node-and-edge generation path for each decoding step. We empirically evaluated GRAT on multiple setups including encoder-based tasks such as molecule property predictions on QM9 datasets and encoder-decoder-based tasks such as molecule graph generation in the organic molecule synthesis domain. GRAT has shown very promising results including state-of-the-art performance on 4 regression tasks in QM9 benchmark.

研究の動機と目的

• 多様なグラフデータ応用に適した汎用的でエンド・ツー・エンドのTransformerベースのモデルを開発し、グラフ全体の符号化と復元を可能にすること。
• 標準的なTransformerが非順序的なグラフデータと互換性がない問題を解決するため、自己注意機構を改変し、エッジ情報を明示的に組み込むこと。
• サブグラフ符号化とノード・エッジ生成を同時にモデル化する新規な二経路的自己回帰的デコード機構を用いて、効果的なグラフ生成を可能にすること。
• グラフ特性予測およびグラフ生成タスクにおいて、完全なエンコーダ・デコーダ・Transformerアーキテクチャの有効性を評価すること。
• グラフに適応された多頭部自己注意機構が、一般のグラフ学習の基盤として実用的で強力であるかどうかを検証すること。

提案手法

• クエリ・キーの相互作用中にエッジ特徴を考慮するように、自己注意計算を変更することで、マルチヘッド自己注意機構に明示的なエッジ情報を組み込む。
• ノードトークンの系列を入力とし、アプリケーションのニーズに応じてノードの順序をオプションで制約する。学習された注意重みを通じて、注目は隣接ノードを動的に重み付けする。
• 二経路のデコード機構を実装する：一方の経路は現在の部分グラフを符号化し、もう一方は自己回帰的に次のノードとその接続エッジを生成する。
• 学習可能なノード埋め込み初期化と微分可能な生成戦略を導入し、全グラフ生成プロセスに逆誤差伝搬を可能にする。
• 生成タスクと回帰タスクにそれぞれ交差エントロピー損失と平均二乗誤差損失を用いて、エンド・ツー・エンドでモデルを学習する。
• 訓練および推論時の計算コストを制御するため、固定ホップの近傍サンプリング戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 エッジ情報を自己注意に組み込むことで、標準的なTransformerアーキテクチャをグラフ構造データに効果的に適応できるか？
• RQ2 エンド・ツー・エンドのTransformerベースのモデルは、グラフ表現学習と構造的なグラフ生成の両方を実現できるか？
• RQ3 提案されたエッジに配慮した自己注意機構は、標準的なGNNや注意ベースのGNN変種と比較して、グラフ構造をどれほど効果的に捉えられるか？
• RQ4 二経路の自己回帰的デコード機構は、大規模な設定においても正確なノードおよびエッジ属性を備えた複雑なグラフを生成できるか？
• RQ5 完全なエンコーダ・デコーダ・Transformerアーキテクチャは、グラフ特性予測および分子構造生成タスクにおいて、既存のグラフからグラフへのモデルを上回る性能を示せるか？

主な発見

• GRATはQM9ベンチマークの4つの回帰タスクで最先端の性能を達成し、グラフ表現学習における強力な能力を示した。
• 分子特性の予測において既存手法を上回ったことから、エッジに配慮した自己注意機構が分子グラフ内の構造的依存関係を効果的に捉えていることが示された。
• GRATはグラフからグラフへの翻訳フレームワークを有機分子合成に適用し、生成物予測タスクで競争力ある結果を得た。
• 二経路の自己回帰的デコード機構により、正しいノードおよびエッジ構造を持つ新しいグラフの効果的で制御可能な生成が可能になった。
• アブレーションスタディの結果、自己注意に明示的なエッジ情報を組み込むことで、標準的な注意機構に比べて性能が顕著に向上した。
• GRATの汎用的アーキテクチャは高い転送性を示し、化学分野にとどまらず、知識グラフや物理系など、多様なグラフ応用分野への適用可能性を示唆した。