[論文レビュー] Structural Neural Encoders for AMR-to-text Generation

Marco Damonte, Shay B. Cohen|arXiv (Cornell University)|Mar 27, 2019

Topic Modeling参考文献 28被引用数 11

ひとこと要約

本稿では、AMR（抽象的意味表現）へのテキスト生成のためのグラフニューラルネットワーク（GNN）ベースの構造的エンコーダーを提案し、AMRグラフ内の再帰的構造（reentrancies）と長距離依存関係を明示的にモデル化することで生成品質が向上することを示している。最良のモデルはGCN-BiLSTMアーキテクチャであり、LDC2015E86で24.40 BLEU、LDC2017T10で24.54 BLEUを達成し、それぞれ先行研究より1.1点および1.24点の向上を示した。

ABSTRACT

AMR-to-text generation is a problem recently introduced to the NLP community, in which the goal is to generate sentences from Abstract Meaning Representation (AMR) graphs. Sequence-to-sequence models can be used to this end by converting the AMR graphs to strings. Approaching the problem while working directly with graphs requires the use of graph-to-sequence models that encode the AMR graph into a vector representation. Such encoding has been shown to be beneficial in the past, and unlike sequential encoding, it allows us to explicitly capture reentrant structures in the AMR graphs. We investigate the extent to which reentrancies (nodes with multiple parents) have an impact on AMR-to-text generation by comparing graph encoders to tree encoders, where reentrancies are not preserved. We show that improvements in the treatment of reentrancies and long-range dependencies contribute to higher overall scores for graph encoders. Our best model achieves 24.40 BLEU on LDC2015E86, outperforming the state of the art by 1.1 points and 24.54 BLEU on LDC2017T10, outperforming the state of the art by 1.24 points.

研究の動機と目的

• AMRグラフにおける再帰的構造と長距離依存関係の明示的モデル化が、テキスト生成性能に与える影響を調査すること。
• 順序的、木構造的、グラフベースのエンコーダーがAMRへのテキスト生成においてどれほど効果的であるかを比較すること。
• 再帰的構造を保持するグラフエンコーダーが、木構造または順序的エンコーダーと比較して優れた結果をもたらすかどうかを評価すること。
• 対照的例を用いて、コアフレンスおよびコントロール構造現象におけるモデルの挙動を分析すること。
• 異なるエンコーダータイプにおいて、長距離依存関係の影響がモデル性能に与える影響を評価すること。

提案手法

• 本稿では、ラベル付きAMRエッジをリーヴィー（Levi）グラフ構築法によりラベルなしエッジに変換することで、グラフ構造の入力表現を採用し、構造的情報を保持する。
• グラフ畳み込みネットワーク（GCN）を用いてAMRグラフを文脈的な表現にエンコードし、その後にBiLSTMを用いて系列モデル化を行う。
• GCNでエンコードされたグラフをコンテキストとして用いるアテンションベースのエンコーダ-デコーダフレームワークを採用する。
• 比較のため、順序的および木構造的エンコーダーを実装している。前者はAMRを文字列に線形化し、後者は再帰的構造を除去して木構造に変換する。
• モデルは、LDC2015E86およびLDC2017T10データセット上で、交差エントロピー損失とビームサーチデコードを用いてエンドツーエンドで学習する。
• 対照的評価の設定を導入し、先行詞、代名詞の種別、数、性別を制御した変更を加えた3,000件以上の例を生成し、コアフレンス処理の能力を検証した。

実験結果

リサーチクエスチョン

• RQ1 AMRグラフにおける再帰的構造の明示的エンコードが、AMRからテキストへの変換性能の向上に寄与するか？
• RQ2 グラフエンコーダーは、木構造および順序的エンコーダーと比較して、AMRグラフ内の長距離依存関係をどのように処理するか？
• RQ3 再帰的構造と長距離依存関係が、グラフ構造エンコーダーの性能向上にどの程度寄与しているか？
• RQ4 異なるモデルアーキテクチャは、コアフレンスおよびコントロール構造の処理能力にどのような差を示すか？
• RQ5 グラフエンコーダーの性能向上は、再帰的構造のモデル化、長距離依存関係の捉え方、あるいは両者の両方によるものか？

主な発見

• グラフエンコーダーは、順序的および木構造的エンコーダーを上回り、LDC2015E86で24.40 BLEUを達成し、前回の最先端技術より1.1ポイントの向上を示した。
• LDC2017T10では、24.54 BLEUを達成し、前回の最先端技術より1.24ポイントの向上を示した。
• グラフエンコーダーは長距離依存関係の処理において優れた性能を示し、依存関係の長さが長くなるほど性能差が拡大する傾向を示した。
• 代名詞の数や性別の置換タスクにおいて、順序的および木構造的ベースラインと比較して、より優れた性能を示しており、代名詞のコアフレンス処理が優れていることを示している。
• 対照的評価では、性別置換タスクにおいても95.79%の高い正確性を維持しており、性別付き代名詞の処理において堅牢であることが示された。
• 結果から、再帰的構造のモデル化と長距離依存関係の捉え方が、グラフエンコーダーの性能向上の主な要因であることが明らかになった。