[論文レビュー] Generating Syntactically Controlled Paraphrases without Using Annotated Parallel Pairs

Kuan-Hao Huang, Kai-Wei Chang|arXiv (Cornell University)|Jan 26, 2021

Topic Modeling参考文献 59被引用数 4

ひとこと要約

この論文では、アノテートされていないテキストから意味と文法を分離することで、アノテートされた並列ペアを必要とせずに文法的制御が可能な仮説生成を行うニューラル仮説生成モデルであるSynPGを提案する。順序のない語の袋とターゲットの構文解析木を用いた文の再構成によって学習することで、アノテートされていないデータが豊富に利用可能な場合、SynPGは教師ありモデルと同等の性能を発揮し、教師なしベースラインよりも優れた文法的制御を達成する。

ABSTRACT

Paraphrase generation plays an essential role in natural language process (NLP), and it has many downstream applications. However, training supervised paraphrase models requires many annotated paraphrase pairs, which are usually costly to obtain. On the other hand, the paraphrases generated by existing unsupervised approaches are usually syntactically similar to the source sentences and are limited in diversity. In this paper, we demonstrate that it is possible to generate syntactically various paraphrases without the need for annotated paraphrase pairs. We propose Syntactically controlled Paraphrase Generator (SynPG), an encoder-decoder based model that learns to disentangle the semantics and the syntax of a sentence from a collection of unannotated texts. The disentanglement enables SynPG to control the syntax of output paraphrases by manipulating the embedding in the syntactic space. Extensive experiments using automatic metrics and human evaluation show that SynPG performs better syntactic control than unsupervised baselines, while the quality of the generated paraphrases is competitive. We also demonstrate that the performance of SynPG is competitive or even better than supervised models when the unannotated data is large. Finally, we show that the syntactically controlled paraphrases generated by SynPG can be utilized for data augmentation to improve the robustness of NLP models.

研究の動機と目的

• 高価なアノテート済み仮説ペアに依存せずに、文法構造を制御できる仮説生成モデルの開発。
• アノテートされていないテキストのみを用いて、文の意味的意味と文法的構造を分離すること。
• 明示的な文法的制御信号を用いて、多様な文法的形態を持つ高品質な仮説生成を可能にすること。
• 大規模なアノテートされていないコーパスで学習した場合、そのモデルが教師ありベースラインと同等またはそれを上回る性能を示すかどうかの評価。
• SynPGが生成する仮説が、データ拡張を通じて下流のNLPモデルの耐性を向上させることの有効性を示すこと。

提案手法

• 変換器ベースのエンコーダ・デコーダモデル（SynPG）を、語の袋（意味的エンコーダ）とターゲットの句構造解析木（文法的エンコーダ）という2つの入力を用いて、元の文を再構成するように学習する。
• 語の順序に依存しない方法で処理することで、純粋な意味的埋め込みを抽出する意味的エンコーダを用いる。
• ターゲットの解析木を文脈的な文法的表現に埋め込む文法的エンコーダを用いる。
• デコーダで意味的および文法的表現を統合し、意味を保持しながらも、ターゲットの文法的構造に従う仮説を生成する。
• 並列仮説ペアを必要とせず、アノテートされていないテキスト上で再構成損失を用いてモデルをエンドツーエンドで学習する。
• 推論時において、元の文と望ましいターゲット解析木を入力として与えることで、文法的制御された仮説を生成する。

実験結果

リサーチクエスチョン

• RQ1 アノテート済み仮説ペアを一切使用せずに、文法的制御が可能な仮説生成が可能か？
• RQ2 アノテートされていないテキストから意味と文法を分離することで、仮説生成における効果的な文法的制御が可能か？
• RQ3 SynPGの文法的制御性能は、教師なしベースラインと比べてどのように異なるか？
• RQ4 大規模なアノテートされていないデータが利用可能な場合、SynPGは教師ありモデルと同等の仮説生成品質を達成できるか？
• RQ5 SynPGが生成する仮説は、データ拡張を通じて下流のNLPモデルの耐性を向上させることができるか？

主な発見

• SynPGは、教師なしベースラインを上回る文法的制御を達成しており、生成された仮説がターゲットの解析構造と顕著に一致している。
• 人的評価により、SynPGが生成する仮説は、文法的指定に従う点でより正確であり、同時に流暢さと意味の保持についても競争力があることが確認された。
• 十分なアノテートされていないデータが利用可能な場合、SynPGの性能は、仮説生成タスクにおいて教師ありモデルと同等またはそれを上回る。
• SynPGが生成する仮説はモデルの耐性を向上させる：GLUEベンチマークにおいて、SynPGによるデータ拡張を施したモデルは、文法的アドバーシャル攻撃に対して著しく低い成功率を示した（例：RTEタスクで33.9％の破壊率 vs. ベースモデルの58.3％）。
• 教師付きの並列データがなくても、意味的内容を保持しながら文法的表現を操作することで、多様な仮説を効果的に生成できる。
• 特に、アノテート済み仮説ペアが乏しくても、アノテートされていないテキストが豊富に利用可能な低リソースドメインにおいて、このアプローチは特に価値がある。