[論文レビュー] GraphFormers: GNN-nested Language Models for Linked Text Representation.

Junhan Yang, Zheng Liu+4 more|arXiv (Cornell University)|May 6, 2021

Topic Modeling参考文献 42被引用数 9

ひとこと要約

GraphFormersは、事前学習済み言語モデルの各トランスフォーマーレイヤー内にグラフニューラルネットワークを埋め込むことで、隣接情報を利用してテキスト表現を段階的に向上させる、革新的なアーキテクチャを提案する。このエンドツーエンド統合により、リンクされたテキスト表現の質が向上し、単方向バージョンでは高い効率性を発揮し、大規模データセットにおいて強力なベースラインと同等のパフォーマンスを達成する。

ABSTRACT

Linked text representation is critical for many intelligent web applications, such as online advertisement and recommender systems. Recent breakthroughs on pretrained language models and graph neural networks facilitate the development of corresponding techniques. However, the existing works mainly rely on cascaded model structures: the texts are independently encoded by language models at first, and the textual embeddings are further aggregated by graph neural networks. We argue that the neighbourhood information is insufficiently utilized within the above process, which restricts the representation quality. In this work, we propose GraphFormers, where graph neural networks are nested alongside each transformer layer of the language models. On top of the above architecture, the linked texts will iteratively extract neighbourhood information for the enhancement of their own semantics. Such an iterative workflow gives rise to more effective utilization of neighbourhood information, which contributes to the representation quality. We further introduce an adaptation called unidirectional GraphFormers, which is much more efficient and comparably effective; and we leverage a pretraining strategy called the neighbourhood-aware masked language modeling to enhance the training effect. We perform extensive experiment studies with three large-scale linked text datasets, whose results verify the effectiveness of our proposed methods.

研究の動機と目的

• 連結テキスト表現における段階的モデル構造の限界、特に隣接情報の未活用を是正すること。
• トランスフォーマーアーキテクチャ内での反復的かつ双方向の隣接情報抽出を可能にすることで、テキスト表現の質を向上させること。
• 計算コストを低減しながらも高いパフォーマンスを維持できる、効率的なバージョン、単方向GraphFormersの設計。
• 文脈的および構造的依存関係の学習を強化する、隣接情報に配慮したマスク言語モデル化というpretraining戦略の開発。

提案手法

• GraphFormersは、言語モデルの各トランスフォーマーレイヤー内にグラフニューラルネットワークを直接統合し、各トークンが自身の文脈に加え、知識グラフ内の隣接ノードにも注目できるようにする。
• モデルはグラフ構造を介して反復的なメッセージパッシング機構を採用し、複数ラウンドにわたる隣接ノード集約によって、トークン表現を段階的に精錬する。
• マスクされたトークンの予測とグラフ構造に配慮した表現学習の両方を同時に最適化する、新規のpretraining目的、すなわち「隣接情報に配慮したマスク言語モデル化」を導入する。
• 単方向GraphFormersバージョンは、メッセージパッシングを単一方向に制限することで計算量を削減しながら、大部分のパフォーマンス向上を維持する。
• アーキテクチャはエンドツーエンド学習を可能にし、テキスト的および構造的情報が独立して処理されるのではなく、統合的に最適化される。
• 表現学習中に隣接ノードの重み付けを動的に制御できるように、グラフ構造的特徴を強化したアテンションメカニズムを活用する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーレイヤー内にGNNを埋め込むことで、段階的アーキテクチャをはるかに超えて、リンクされたテキスト表現を改善できるか？
• RQ2 トランスフォーマーレイヤー内での反復的隣接情報集約は、表現の質にどのように影響するか？
• RQ3 GraphFormersにおいて、双方向と単方向のメッセージパッシングを比較した場合、パフォーマンスと効率のトレードオフはどの程度か？
• RQ4 隣接情報に配慮したマスク言語モデル化は、下流の表現学習にどの程度の改善をもたらすか？
• RQ5 大規模なリンクテキストベンチマークにおいて、GraphFormersは最先端のモデルと比べてどうか？

主な発見

• GraphFormersは、3つの大規模なリンクテキストデータセットで最先端のパフォーマンスを達成し、段階的モデルよりも優れた表現品質を示した。
• 単方向GraphFormersバージョンは、完全な双方向バージョンと同等のパフォーマンスを達成しながら、計算コストを顕著に削減した。
• 隣接情報に配慮したマスク言語モデル化というpretraining戦略は、下流の表現学習において測定可能な改善をもたらした。
• トランスフォーマーレイヤー内での反復的隣接符号化は、静的または一回のみの集約よりも、グラフ構造的情報をより効果的に活用できる。
• 複数の評価指標にわたり一貫した向上が確認され、GNN-Transformerアーキテクチャの内蔵化の有効性が裏付けられた。