[論文レビュー] Controllable Paraphrase Generation with a Syntactic Exemplar

Mingda Chen, Qingming Tang+2 more|arXiv (Cornell University)|Jun 3, 2019

Topic Modeling参考文献 56被引用数 6

ひとこと要約

本稿では、事前に定義された制御要因ではなく、文単位の例示（sentential exemplar）を用いて生成文の構文を制御する、新しい制御可能な並び替え生成フレームワークを提案する。文脈的要因と構文的要因に分離された潜在変数を備えた変分オートエーコーダーを導入し、単語ノイズ、潜在的単語クラスタ符号、マルチタスク学習を組み合わせることで、新しく作成された人間によるアノテーション付きデータセット上で、ベースラインと比較して優れた構文的制御性と分離性を達成する。

ABSTRACT

Prior work on controllable text generation usually assumes that the controlled attribute can take on one of a small set of values known a priori. In this work, we propose a novel task, where the syntax of a generated sentence is controlled rather by a sentential exemplar. To evaluate quantitatively with standard metrics, we create a novel dataset with human annotations. We also develop a variational model with a neural module specifically designed for capturing syntactic knowledge and several multitask training objectives to promote disentangled representation learning. Empirically, the proposed model is observed to achieve improvements over baselines and learn to capture desirable characteristics.

研究の動機と目的

• 従来の制御可能なテキスト生成手法が事前に定義された制御値を必要とするという制限を解消するため、構文を文の例示によって制御する新しいタスクを提案すること。
• 意味的入力、構文的例示、参照出力を備えた、定量的評価が可能な構文制御型並び替え生成を可能にする、新規の人的アノテーション付きデータセットの作成。
• 意味と構文に分離された潜在表現を持つ深層生成モデルの開発により、制御性と生成品質の向上。
• テスト時パーサーに依存せずに構文表現学習を向上させるために、単語ノイズと潜在的単語クラスタ符号という新たな学習目的を設計。
• モデルが意味を忠実に保ちつつ、例示の構文構造に適合する並び替えを生成できるか、ならびに失敗モードと解釈可能性の分析。

提案手法

• 意味（y）と構文（z）に分離された2つの潜在変数を持つ変分オートエーコーダー（VAE）を提案。意味と構造の別々の制御を可能にする。
• 構文木のツリー編集距離を用いて、並び替え生成、語順の維持、構文類似度の3つのタスクを同時に最適化するマルチタスク学習フレームワークを導入。
• 訓練時に単語ノイズを適用し、品詞タグに基づいてトークンを置き換えることで、耐障害性と構文一般化性能を向上。
• 構文表現の圧縮と解釈可能な構文モデリングを促進するため、学習可能な潜在的単語クラスタ符号をボトルネック層に実装。
• 生成品質に与える影響を評価するため、スワップ、連結、初期化の3種類のデコーダー変種を設計。そのうちスワップ変種が他のものより優れた性能を示した。
• 内容語を除いた構文木間のツリー編集距離に基づく、構造的整合性を評価する新しい「構文類似度」指標を設計。

実験結果

リサーチクエスチョン

• RQ1 事前にすべての可能な構文パターンを知らなくても、自由形式の文の例示を用いてニューラル生成モデルが文の構文を効果的に制御できるか？
• RQ2 VAEベースのフレームワークにおいて、意味と構文の分離表現を、より優れた分離性と解釈可能性を備えて学習できるか？
• RQ3 単語ノイズと潜在的単語クラスタ符号は、テスト時パーサーに依存せずに、どの程度構文表現学習と生成品質を向上させるか？
• RQ4 特に構文的整合性と意味的一致性の観点から、SCPなど強力なベースラインと比較して、モデルの性能はどの程度か？
• RQ5 モデルの失敗モードは何か。また、それらは、既存の構文制御生成モデルと比較してどのように異なるか？

主な発見

• 標準的な指標（BLEU、ROUGE、METEOR）において、ベースラインと比較して一貫した改善を示した。特に最良の変種（スワップデコーダー）は、全指標で他のモデルを上回った。
• 語の位置損失と潜在的単語クラスタ符号を備えたモデルは、ツリー編集距離による測定で顕著な構文類似度の向上を示し、より優れた構文的制御性を示した。
• 潜在的符号モジュールは解釈可能な単語クラスタを学習しており、モデルが分離された形で意味的な構文パターンを捉えていることを示している。
• テスト時パーサーを必要とせず、入力の意味を保持しつつ、例示の構文構造を模倣する並び替えを効果的に生成できた。
• 改善が見られたものの、長さの不一致や代名詞の不一致の問題は、SCPと同様に依然として存在し、とくに意味的内容を表現するのに十分な長さのない構文例示の場合に顕著だった。
• 機能語が例示と参照出力で完全に一致する稀なケースでは、モデルが有用な機能語を直接コピーすることでSCPを上回り、語彙的整合性の面での利点を示した。