[論文レビュー] GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph

Junhan Yang, Zheng Liu+7 more|arXiv (Cornell University)|May 6, 2021

Topic Modeling参考文献 34被引用数 38

ひとこと要約

GraphFormersは、層ごとのGNNをTransformer層内にネスティングすることで、GNNとTransformerベースのテキストエンコーダを密に結合し、テキストグラフに対して反復的な共同テキストエンコーディングと近傍集約を実現する。

ABSTRACT

The representation learning on textual graph is to generate low-dimensional embeddings for the nodes based on the individual textual features and the neighbourhood information. Recent breakthroughs on pretrained language models and graph neural networks push forward the development of corresponding techniques. The existing works mainly rely on the cascaded model architecture: the textual features of nodes are independently encoded by language models at first; the textual embeddings are aggregated by graph neural networks afterwards. However, the above architecture is limited due to the independent modeling of textual features. In this work, we propose GraphFormers, where layerwise GNN components are nested alongside the transformer blocks of language models. With the proposed architecture, the text encoding and the graph aggregation are fused into an iterative workflow, {making} each node's semantic accurately comprehended from the global perspective. In addition, a {progressive} learning strategy is introduced, where the model is successively trained on manipulated data and original data to reinforce its capability of integrating information on graph. Extensive evaluations are conducted on three large-scale benchmark datasets, where GraphFormers outperform the SOTA baselines with comparable running efficiency.

研究の動機と目的

• テキストとグラフ情報を同時にモデル化することで、テキストグラフの表現を改善する動機づけ。
• テキストエンコーディングとグラフ集約を反復的なワークフローで融合する、GNNがネストされたTransformerアーキテクチャを提案。
• データの段階的乱れ（プログレッシブ）と片方向グラフ注意機構によって学習と効率性を向上させる。
• 大規模テキストグラフで実証的に検証し、カスケード型のTransformer-GNNベースラインと比較する。

提案手法

• 各層で近傍情報を交換するため、層ごとにGNNがTransformerブロックと parallelに走るGNNネスト型Transformerを導入。
• 学習可能な位置バイアスを持つマルチヘッド注意機構を用い、グラフ集約を行いグラフ強化トークンレベル埋め込みを生成する。
• グラフ強化済み埋め込みをTransformer層で処理し最終的なノード表現を生成する。
• 必要に応じて片方向のグラフ集約を適用して隣接エンコードをキャッシュし冗長計算を削減する。
• 2段階の段階的学習戦略を採用：まず汚染データで訓練してグラフ情報の利用を強制し、次に元のデータで微調整する。
• バッチ内ネガティブと非対称注意を用いたリンク予測目的で訓練し、クエリ-キー-バリューの相互作用を計算する。

実験結果

リサーチクエスチョン

• RQ1 GNNネスト型Transformerアーキテクチャは、 cascaded Transformer-GNN ベースラインと比較してテキストグラフのリンク予測性能を改善するか？
• RQ2 訓練戦略（段階的学習、片方向集約）は表現品質と効率にどう影響するか？
• RQ3 近傍数の変更が性能と効率に及ぼす影響は？
• RQ4 大規模データセットでの効率性においてGraphFormersはカスケード型手法とどの程度比較されるか？

主な発見

• GraphFormersは3つの大規模データセット（Product、DBLP、Wiki）全体でカスケード型Transformer-GNNベースラインを一貫して上回る。
• 競合ベースラインに対する相対的な改善は、Productで2.9%、DBLPで4.8%、Wikiで6.5%と報告されている。
• より豊富な近傍コンテキストを使用すると精度、NDCG、MRRが向上するが、近傍が増えるにつれてリターンは小さくなる。
• 2段階の段階的学習は性能を大きく改善し、片方向グラフ集約は計算を削減しつつ正確性を維持する。
• 効率性分析はGraphFormersがPLM+Maxと同様の時間・メモリコストを持つことを示し、近傍数が大きくなっても層ごとのグラフ処理からのオーバーヘッドは控えめである。
• アブレーション研究は段階的学習の価値と、簡略化された片方向アプローチの頑健性を確認する。