[論文レビュー] Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity

Brian J. Thompson, Matt Post|arXiv (Cornell University)|Aug 11, 2020

Natural Language Processing Techniques被引用数 23

ひとこと要約

本論文では、多言語ニューラル機械翻訳（NMT）モデルを用いたゼロショットの並び替え生成手法を提案する。入力文に含まれるn-gramをデコード中にペナルティを与えることで語彙の多様性を制御する。このアプローチにより、複数の言語で高品質な並び替え文が生成可能であり、語彙の多様性を同等に保った状態で人間評価において意味的類似性と文法的適正性の両面で強力な英語専用ベースラインを上回る。

ABSTRACT

Recent work has shown that a multilingual neural machine translation (NMT) model can be used to judge how well a sentence paraphrases another sentence in the same language (Thompson and Post, 2020); however, attempting to generate paraphrases from such a model using standard beam search produces trivial copies or near copies. We introduce a simple paraphrase generation algorithm which discourages the production of n-grams that are present in the input. Our approach enables paraphrase generation in many languages from a single multilingual NMT model. Furthermore, the amount of lexical diversity between the input and output can be controlled at generation time. We conduct a human evaluation to compare our method to a paraphraser trained on the large English synthetic paraphrase database ParaBank 2 (Hu et al., 2019c) and find that our method produces paraphrases that better preserve meaning and are more gramatical, for the same level of lexical diversity. Additional smaller human assessments demonstrate our approach also works in two non-English languages.

研究の動機と目的

• 単一の多言語NMTモデルを用いて、複数の言語で非自明で意味的に類似した並び替え文を生成する課題に対処すること。
• ビットテキストから生成される合成並び替えデータの限界を克服すること。これは、言語固有の曖昧さ（例：性別、構文）に起因する誤りを引き起こすことがある。
• 文法的適正性や意味的類似性のモデリングとは独立して、生成中に語彙の多様性を細かく制御できること。
• 単一の多言語NMTモデルが、英語以外の言語を含む多様な言語で、強固でゼロショットの並び替え生成器として機能できることを示すこと。
• 文法的適正性と多様性モデリングの間の相互依存を軽減し、意味的類似性の学習とは分離された生成プロセスを実現すること。

提案手法

• 本手法は、ゼロショット並び替え生成に微調整された多言語NMTモデルを用い、並び替えを同一言語内での文から自身への翻訳タスクとして扱う。
• 入力文に既に存在するn-gram（n=1〜4）を完成させるサブワードトークンがデコーダ出力に現れた場合に、動的にその重みを低下させるソフト制約機構を導入する。
• ペナルティは推論時に適用される動的ペナルティ関数により実装され、生成されたトークンの接頭辞に基づき、入力文のn-gramに一致するサブワードを抑制すべきかどうかを判断する。
• ペナルティは、同じn-gramを完成させるサブワードの対数尤度から学習可能なハイパーパrameter α を差し引くことで実装され、完全に禁止するのではなく、抑制を強化する。
• ユーザーはペナルティ強度 α を調整することで、生成時に語彙の多様性を制御可能となる。
• 本手法は多言語エンコーダの中間表現を活用しており、性別などの意味的・文法的特徴を複数言語にわたって保持することで、曖昧なピボット言語に起因する誤りを低減する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、合成並び替えデータに依存しない多言語NMTモデルを、ゼロショット並び替え生成に効果的に使用できるか？
• RQ2 推論時に入力文のn-gramにペナルティを課すことで、意味的類似性と文法的適正性を維持しつつ、より多様で非自明な並び替え文が得られるか？
• RQ3 単一のモデルを用いて、推論時に生成される並び替え文の語彙の多様性を制御可能か？
• RQ4 本手法は、大規模な合成並び替えデータセットで学習された強力なベースラインを、意味的忠実性と文法的適正性の両面で上回るか？
• RQ5 本手法は、合成並び替えデータ作成時に生じる言語固有の曖昧さに起因する誤りをどの程度軽減できるか？

主な発見

• 人間評価の結果、語彙の多様性を同等に保った状態で、本手法は5000万件の合成例を含むParaBank 2から得た強力な英語専用ベースラインと比較して、意味的類似性が顕著に高く、文法的適正性もわずかに優れていた。
• ドイツ語およびスペイン語でも高いパフォーマンスを達成しており、人間評価の結果、意味的類似性と文法的適正性が英語と同等であった。これは、多言語への一般化の有効性を示している。
• 多言語エンコーダ表現が意味的特徴を保持することで、性別が曖昧な言語（例：性別を示さない言語）から性別を示す言語への翻訳で生じる性別不一致などの誤りを効果的に軽減している。
• 生成時に語彙の多様性を制御可能であり、再訓練なしに新規性と意味的忠実性のトレードオフをユーザーが調整可能である。
• 本手法は、合成並び替えデータ作成プロセスで生じる誤りを回避するため、品質だけでなく、耐障害性の面でも合成データベースラインを上回っている。
• 著者らは、https://github.com/thompsonb/prism にてコードを公開しており、多言語ゼロショット並び替え生成分野における再現性とさらなる研究を促進している。