[論文レビュー] GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation

Anthony Colas, Mehrdad Alvandipour+1 more|arXiv (Cornell University)|Apr 13, 2022

Topic Modeling被引用数 8

ひとこと要約

本稿では、BARTなどの事前学習モデルを知識グラフ（KG）からテキストを生成するタスクに強化するため、近隣ノードのマスク化されたアテンションと関係・エンティティタイプの符号化を用いてグラフ構造への意識を統合する、グラフに配慮した言語モデルフレームワークGAPを提案する。追加の事前学習タスクを必要とせず、WebNLGおよびEventNarrativeで最先端の性能を達成し、高コストな補助的事前学習に依存するモデルを上回る。同時に、KGに基づくテキスト生成におけるアテンションダイナミクスの解釈可能な分析を可能にする。

ABSTRACT

Recent improvements in KG-to-text generation are due to additional auxiliary pre-training tasks designed to give the fine-tune task a boost in performance. These tasks require extensive computational resources while only suggesting marginal improvements. Here, we demonstrate that by fusing graph-aware elements into existing pre-trained language models, we are able to outperform state-of-the-art models and close the gap imposed by additional pre-training tasks. We do so by proposing a mask structure to capture neighborhood information and a novel type encoder that adds a bias to the graph-attention weights depending on the connection type. Experiments on two KG-to-text benchmark datasets show our models are competitive while involving fewer parameters and no additional pre-training tasks. By formulating the problem as a framework, we can interchange the various proposed components and begin interpreting KG-to-text generative models based on the topological and type information found in a graph.

研究の動機と目的

• 広範な補助的事前学習タスクに依存する既存のKGからテキストへの生成モデルの非効率さと高い計算コストを是正すること。
• 事前学習言語モデルに直接的にグラフ構造情報を統合することで、知識グラフからテキストへの生成性能を向上させること。
• アテンションメカニズムを通じてグラフトポロジーや関係タイプがテキスト生成に与える影響を、解釈可能でモジュラーな分析が可能な形で可能にすること。
• 大規模な事前学習に依存するモデルと比較して、グラフに配慮したモデリングが優れた性能を発揮でき、リソース要件を低減できることを示すこと。
• 将来的なグラフに配慮したテキスト生成研究のための柔軟でオープンソースのフレームワークを提供すること。

提案手法

• エンコーディング中に非隣接ノードへのアテンションをマスクすることで、局所的なグラフ構造を捉える近隣マスクアテンション機構を導入する。
• 関係およびエンティティタイプ情報をアテンション重みに組み込む新しいタイプエンコーダーを提案し、接続タイプに応じたアテンションのバイアスを実現する。
• 既存の事前学習言語モデル（例：BART）にグラフに配慮したコンponentsを統合し、文脈的・語彙的強みを保持するとともに、構造的認識を強化する。
• アテンションマスキングとタイプエンコーディングの構成を交換可能にすることで、体系的なアブレーションと解釈可能性の研究を可能にする。
• グラフを線形化して、強化された言語モデルを介して処理することでテキスト生成を実現する、シーケンス・トゥ・シーケンスフレームワークを採用する。
• 二段階エンコーディング戦略を採用：まず事前学習LMを用いてエンティティと関係をエンコードし、次にグラフに配慮したアテンションで表現を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 追加の事前学習タスクを必要としない、事前学習言語モデルへのグラフに配慮した拡張が、最先端のモデルを上回る性能を発揮できるか？
• RQ2 アテンション重みにエンティティおよび関係タイプ情報を取り入れることで、生成テキストの質と一貫性はどのように変化するか？
• RQ3 近隣マスク化は、モデルが局所的なグラフ構造を捉える能力を向上させ、生成性能を改善できるか？
• RQ4 アテンション可視化と構造的分析により、KGからテキストへの生成における解釈可能なインサイトをどの程度得られるか？
• RQ5 完全にグラフに配慮したモデルは、大規模な補助的事前学習に依存するモデルと比較して、同等または優れた性能を達成できるか？

主な発見

• GAPは、追加の事前学習タスクを一切使用せず、WebNLG v2.0およびEventNarrativeの両データセットで最先端の性能を達成した。
• 完全なマスキングとタイプエンコーディングを備えたモデル（$M^{e,r}_{e,r}$）は、WebNLGでBLEUスコア38.7を達成し、高コストな事前学習に依存する先行SOTAモデルを上回った。
• 人的評価では、タイプエンコーディングを備えたモデルがより自然で簡潔な出力を生成することが示された。例えば、「followed by」ではなく「sequel to」を好む傾向が見られた。
• アテンションヒートマップの分析から、タイプエンコーディングを備えたモデルは、不要なアテンションパターン（例：'Australians'から'country'への不要なアテンション）を低減していることがわかった。
• タイプエンコーディングを備えないモデルは、構成要素全体にわたって均一なアテンションを示しており、これは一部のケースで出力が不必要に冗長になることと相関していた。
• このフレームワークにより、アテンションパターンの解釈可能な分析が可能となり、構造的・タイプに配慮したモデリングが、より忠実でスムーズなテキスト生成を実現することを実証した。