[論文レビュー] GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph

Junhan Yang, Zheng Liu+7 more|arXiv (Cornell University)|May 6, 2021

Advanced Graph Neural Networks被引用数 51

ひとこと要約

GraphFormersは、GNNをトランスフォーマーブロックとネストしたアーキテクチャで結合し、テキストとグラフ構造を共同でエンコードする。二段階の漸進的学習戦略を用い、大規模なテキストグラフベンチマークで最先端の結果を、効率性と同等の水準で達成する。

ABSTRACT

The representation learning on textual graph is to generate low-dimensional embeddings for the nodes based on the individual textual features and the neighbourhood information. Recent breakthroughs on pretrained language models and graph neural networks push forward the development of corresponding techniques. The existing works mainly rely on the cascaded model architecture: the textual features of nodes are independently encoded by language models at first; the textual embeddings are aggregated by graph neural networks afterwards. However, the above architecture is limited due to the independent modeling of textual features. In this work, we propose GraphFormers, where layerwise GNN components are nested alongside the transformer blocks of language models. With the proposed architecture, the text encoding and the graph aggregation are fused into an iterative workflow, {making} each node's semantic accurately comprehended from the global perspective. In addition, a {progressive} learning strategy is introduced, where the model is successively trained on manipulated data and original data to reinforce its capability of integrating information on graph. Extensive evaluations are conducted on three large-scale benchmark datasets, where GraphFormers outperform the SOTA baselines with comparable running efficiency.

研究の動機と目的

• ノードのテキストと隣接構造を共同でモデル化することにより、テキストグラフに対して正確な表現を動機づける。
• テキストエンコードとグラフ集約を逐次融合するGNNネスト型トランスフォーマーアーキテクチャを提案する。
• グラフ構造からの情報統合を強化するための二段階の漸進学習レジームを導入する。
• GraphFormersが、同等の効率で最先端のカスケード型Transformer-GNNベースラインを上回ることを示す。

提案手法

• GNNコンポーネントをトランスフォーマーブロックと並置して、反復的なワークフローでテキストエンコードとグラフ集約を融合する。
• 層単位のGNNとマルチヘッドアテンションを用いて、隣接ノードを横断して集約されたノードレベルのメッセージを生成する。
• 中心ノードから近傍ノードへの参照を可能にしつつ、近傍エンコードのキャッシュを可能にする、トランスフォーマーの非対称マルチヘッドアテンションを採用する。
• 各層で、近傍情報を含むノード埋め込みとトークン埋め込みを連結することにより、グラフ拡張トークン埋め込みを導入する。
• 二段階の漸進学習目的で訓練する：まず汚染された入力でグラフ情報の使用を強制し、次に元データでターゲット分布に合わせる。
• 計算を削減するために、近傍エンコードをキャッシュする単方向のグラフ集約を任意で使用する。

実験結果

リサーチクエスチョン

• RQ1 GNNベースの隣接情報を直接、トランスフォーマー基盤のテキストエンコーダへ統合するにはどうすればよいか。
• RQ2 ネスト型GNN-トランスフォーマーアーキテクチャは、テキスト優先からグラフ集約のモデルをカスケードさせた場合と比較して、ノード表現の品質を改善するか。
• RQ3 漸進的な二段階学習戦略は、効率性を維持しつつグラフ情報を活用するモデル能力を向上させるか。
• RQ4 単方向グラフ集約の性能および計算コストへの影響はどの程度か。

主な発見

• GraphFormersは、3つの大規模テキストグラフデータセット（Product、DBLP、Wiki）全体で、最先端のカスケード型Transformer-GNNベースラインを一貫して上回る。
• 3つのデータセットで、それぞれ strongest baselines に対して相対的な改善が 2.9%、4.8%、そして 6.5%。
• グラ cascaded法と同程度の効率性を維持し、近傍サイズが拡大してもGraphFormersの時間とメモリコストはPLM+Maxベースラインに近い水準のまま。
• 二段階漸進学習は、元データで訓練した場合と比較して主要指標で約1%–2%の表現品質の改善を実現。
• 単方向のグラフ集約バリアントは性能を維持しつつ、 substantial caching によって近傍エンコードの再計算を削減する。
• アブレーション研究により、漸進学習の必要性と、位置バイアスと共有GNNが性能に対して控えめな寄与をすることが示される。