[論文レビュー] Factorising AMR generation through syntax

Kris Cao, Stephen Clark|arXiv (Cornell University)|Apr 20, 2018

Topic Modeling参考文献 29被引用数 11

ひとこと要約

本稿では、構文を介して生成を因子化する二段階のAMR生成モデルを提案する。まずAMRグラフから脱語彙化された構文木を予測し、その後それを語彙化して表層文に変換する。構文的変化と語彙的選択を分離することにより、外部データを一切使用せず、単一モデルとして最先端のAMR生成性能を達成し、エンド・ツー・エンドモデルよりも意味をよりよく保つパラフレーズを生成する。

ABSTRACT

Generating from Abstract Meaning Representation (AMR) is an underspecified problem, as many syntactic decisions are not constrained by the semantic graph. To explicitly account for this underspecification, we break down generating from AMR into two steps: first generate a syntactic structure, and then generate the surface form. We show that decomposing the generation process this way leads to state-of-the-art single model performance generating from AMR without additional unlabelled data. We also demonstrate that we can generate meaning-preserving syntactic paraphrases of the same AMR graph, as judged by humans.

研究の動機と目的

• 同じ意味グラフに対して複数の構文的実現が可能なことによるAMR生成における本質的不完全性を解消すること。
• 構文的変化と語彙選択を分離することで生成品質を向上させ、制御可能で多様なパラフレーズを可能にすること。
• 外部の未ラベルデータや複雑なアーキテクチャを一切使用せずに、ラベル付きデータのみでAMR-to-text生成の最先端性能を達成すること。
• 人間評価を通じて、構文因子化生成がエンド・ツー・エンドモデルよりも意味をよりよく保つパラフレーズを生成することを検証すること。

提案手法

• 効率性と一般化性能を向上させるために、構文モデルと語彙化モデルの両方で共通のAMRエンコーダーと埋め込みを用いる、シーケンス・ツー・シーケンスアーキテクチャを採用する。
• 構文モデルは、双方向LSTMエンコーダーとドット積分のアテンションを備えたLSTMデコーダーを用いて、AMRグラフから脱語彙化された構文木を予測する。
• 語彙化モデルは、予測された解析木とAMRグラフから表層文を生成し、希少語や未知語を処理するためのコピーメカニズムを備えた別個のデコーダーを用いる。
• 両モデルは、線形化されたAMRグラフと脱語彙化された解析木上でエンド・ツー・エンドに学習され、構文モデルはAMRに条件付けられ、語彙化モデルはAMRおよび構文に条件付けられる。
• 構文モデルでは温度制御サンプリングを用いて多様な解析構造を生成し、その後語彙化モデルでは決定的デコーディングを実行することで文法的整合性と意味の保存を保証する。
• 固有表現は匿名化され、デコーダーにコピーメカニズムが統合され、オープンボリューム生成に対応するとともにデータスパarsityを軽減する。

実験結果

リサーチクエスチョン

• RQ1 構文を介してAMR生成を因子化することで、エンド・ツー・エンドモデルと比較して生成性能が向上するか？
• RQ2 構文的変化と語彙的変化を分離することで、同じAMRグラフの意味をよりよく保つパラフレーズが得られるか？
• RQ3 外部の未ラベルデータや複雑なグラフニューラルネットワークコンponentsを一切使用しない場合、モデルの性能はどの程度か？
• RQ4 正しい解析木を正しく予測することが、全体の生成性能にどの程度制限要因となるか？

主な発見

• 提案された構文因子化モデルは、LDC2015E86およびLDC2017T10のAMRベンチマークの両方で、外部データを使用しないまま、単一モデルとして最先端の性能を達成した。
• ゴール解析木を条件として用いた場合、BLEUスコアが50台に達しており、解析木予測が性能の主要なボトルネックであることが示された。
• 人間評価では、統合モデルが構文に依存しないベースラインと比較して、有意に意味をよりよく保つパラフレーズを生成しており、受容性と意味的整合性の両方が高いことが確認された。
• 構文モデルから多様な解析構造をサンプリングし、語彙化モデルでは決定的デコーディングを実行することで、文法的に整合的で意味的に一貫したパラフレーズが得られ、分離アプローチの有効性が検証された。
• 共通エンコーダーとコピーメカニズムの使用により、一般化性能が向上し、希少語の処理が効果的に行われ、低リソースAMR生成におけるデータスパarsity問題が軽減された。