[論文レビュー] Modeling Graph Structure in Transformer for Better AMR-to-Text Generation

Jie Zhu, Junhui Li+4 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 32被引用数 7

ひとこと要約

本稿では、抽象的意味表現（AMR）グラフにおける間接的に接続された概念間の長距離依存関係を捉えるために、Transformerモデルに構造に配慮した自己注意機構を提案する。直接的な辺以外の概念ペアの構造的表現を組み込むことで、LDC2015E86およびLDC2017T10でそれぞれ29.66および31.82のBLEUスコアを達成し、最先端の結果を実現した。

ABSTRACT

Recent studies on AMR-to-text generation often formalize the task as a sequence-to-sequence (seq2seq) learning problem by converting an Abstract Meaning Representation (AMR) graph into a word sequence. Graph structures are further modeled into the seq2seq framework in order to utilize the structural information in the AMR graphs. However, previous approaches only consider the relations between directly connected concepts while ignoring the rich structure in AMR graphs. In this paper we eliminate such a strong limitation and propose a novel structure-aware self-attention approach to better modeling the relations between indirectly connected concepts in the state-of-the-art seq2seq model, i.e., the Transformer. In particular, a few different methods are explored to learn structural representations between two concepts. Experimental results on English AMR benchmark datasets show that our approach significantly outperforms the state of the art with 29.66 and 31.82 BLEU scores on LDC2015E86 and LDC2017T10, respectively. To the best of our knowledge, these are the best results achieved so far by supervised models on the benchmarks.

研究の動機と目的

• AMRグラフにおける直接接続された概念間の1ホップ関係しかモデル化しない既存のAMR-to-textモデルの限界を解決すること。
• AMRグラフからのより豊かな構造的情報（概念間の間接的関係を含む）をTransformerエンコーダーに統合して向上させること。
• 直接接続されていなくても任意の概念ペアに対して構造的表現を学習する新しい自己注意機構を開発すること。
• 教師あり学習設定のもとで、標準的な英語AMRベンチマークで最先端のパフォーマンスを達成すること。
• 間接的な構造的依存関係をモデル化することが、生成品質および文法的正確性を顕著に向上させることを示すこと。

提案手法

• 概念ペアのコンテンツおよび構造的表現に基づいて注意重みを計算する、標準的なTransformerエンコーダーに構造に配慮した自己注意機構を拡張する。
• 経路ベースの符号化やグラフ走査から得られる構造的ラベル列を含む、2つの概念間の構造的表現を学習する複数の手法を導入する。
• 構造的表現を注意バイアスベクトルに変換するための学習可能なパラメータ行列を用い、スケーリングドット積注意機構を調整する。
• 変更された自己注意層をエンコーダースタックに適用し、辺によって直接接続されていなくても構造的に関連する概念に注目できるようにする。
• AMRグラフを入力シーケンスに線形化する戦略を採用し、強化された注意機構によって構造的情報を保持する。
• 標準的なAMR-to-textベンチマークで標準的な交差エントロピー損失を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 AMRグラフ内の概念間の間接的構造的依存関係をモデル化することは、AMR-to-text変換のパフォーマンスを向上させることができるか？
• RQ2 構造に配慮した自己注意機構は、1ホップ接続を超えた長距離関係を効果的に捉えることができるか？
• RQ3 Transformerエンコーダーに構造的表現を組み込むことで、生成テキストにおける文法的・意味的整合性が向上するか？
• RQ4 直接的な辺のみを考慮する既存のグラフベースのseq2seqモデルと比較して、本手法はどのように優れているか？
• RQ5 外部データに依存せずに、標準的な英語AMRベンチマークで最先端の結果を達成できるか？

主な発見

• 提案された構造に配慮した自己注意機構は、LDC2015E86ベンチマークで29.66の新しい最先端BLEUスコアを達成し、前回の最良モデルより4.16 BLEUポイント優れていた。
• LDC2017T10ベンチマークでは31.82のBLEUスコアを達成し、強力なベースラインより4.39 BLEUポイントの改善を示した。
• 人的評価では、再帰的表現や動詞の一致処理において、より正確で文法的に整合性のとれた文を生成することが確認された。
• AMRグラフに時制や数の情報がない場合でも、モデルは過去形や複数形を好む傾向を示し、基準出力とより一致する結果を出した。
• モデルは、ベースラインが生成できない主語-動詞関係や直接目的語の依存関係を正しく特定し、保持していた。
• アブレーションスタディにより、間接的な構造的関係のモデル化がパフォーマンスを顕著に向上させることを確認し、提案手法の有効性を裏付けた。