[論文レビュー] Neural Machine Translation For Paraphrase Generation

Alex Sokolov, Denis Filimonov|arXiv (Cornell University)|Jun 25, 2020

Topic Modeling参考文献 18被引用数 12

ひとこと要約

本稿では、Alexaスキル開発における学習データのための自動的で多様な人間らしい訓練例の生成を目的として、双方向LSTMとGloVe埋め込みを用いたseq2seqモデルを用いた神経機械翻訳（NMT）ベースのアプローチを提案する。出域データでエンコーダーを事前学習し、スロットコピーを適用することで、未学習のスキルにおいて意図分類および名前付きエンティティ認識の精度が顕著に向上し、人的アノテーションの負担が軽減される。

ABSTRACT

Training a spoken language understanding system, as the one in Alexa, typically requires a large human-annotated corpus of data. Manual annotations are expensive and time consuming. In Alexa Skill Kit (ASK) user experience with the skill greatly depends on the amount of data provided by skill developer. In this work, we present an automatic natural language generation system, capable of generating both human-like interactions and annotations by the means of paraphrasing. Our approach consists of machine translation (MT) inspired encoder-decoder deep recurrent neural network. We evaluate our model on the impact it has on ASK skill, intent, named entity classification accuracy and sentence level coverage, all of which demonstrate significant improvements for unseen skills on natural language understanding (NLU) models, trained on the data augmented with paraphrases.

研究の動機と目的

• 対話的データの言い換えを自動生成することで、Alexaスキルの自然言語理解（NLU）モデルの訓練における人的アノテーションの負担を軽減すること。
• モデルが生成した言い換えを用いたデータ拡張により、未学習のスキルにおける意図分類（IC）および名前付きエンティティ認識（NER）の性能を向上させること。
• 出域事前学習を活用しつつ、生成された言い換えにスロット情報を保持する柔軟でエンドツーエンドのニューラルアプローチを構築すること。
• スキルの文法例のカバレッジが低いという課題に対処し、同じ意図およびスロット構造に対して意味的に同等で多様な発話文を生成すること。

提案手法

• モデルは、双方向LSTMを用いたエンコーダ-デコーダアーキテクチャを採用し、入力文を文脈ベクトルにエンコードし、それを言い換え文にデコードする。
• エンコーダーは大規模な出域英語コーパスで事前学習され、その後、ドメイン内Alexaデータで微調整されて表現学習が向上する。
• 語彙サイズの削減およびレア語や同義語に対する耐性向上のため、GloVe単語埋め込みが使用される。
• デコード後にスロットコピー機構を適用することで、都市名や数字などのエンティティが言い換え出力に保持される。
• 推論段階では、多様な言い換え仮説を生成するために、左から右へのビームサーチとn番目の最良解を用いる。
• モデルは、入力に対してターゲット系列の対数尤度を最大化するように学習され、交差エントロピー損失が使用される。

実験結果

リサーチクエスチョン

• RQ1 神経機械翻訳モデルは、Alexaスキルドメインのドメイン内対話的データに対して、高品質な言い換えを効果的に生成できるか？
• RQ2 モデルが生成した言い換えを用いたデータ拡張は、未学習のスキルにおける意図分類および名前付きエンティティ認識の性能をどの程度向上させるか？
• RQ3 出域データでの事前学習とドメイン内データでの微調整は、生成された言い換えの品質および多様性にどのような影響を与えるか？
• RQ4 スロットコピー機構は、生成された言い換えにおける意味的および構造的整合性の維持にどのような影響を与えるか？
• RQ5 文法的正確性および語彙的多様性の観点から、ルールベースまたは統計的言い換え手法と比較して、本モデルの性能はいかがなものか？

主な発見

• 言い換えを用いたデータ拡張を適用した場合、未学習のスキルにおいて意図分類精度が最大44.1%向上し、名前付きエンティティ認識精度が9.6%向上した。
• 最良の設定（微調整済みエンコーダーで固定エンコーダーを用いた）では、ベースライン比で意図分類に15.9%の相対的改善、NERに17.9%の改善が達成された。
• コピー機構がなくても、モデルは未知語を含まず、文法的に正しい文を生成しており、ドメイン内データに対する強力な一般化能力を示した。
• エンティティが入れ替わった場合でも、意図およびスロット構造を保持した言い換えを生成しており、一貫したスロットラベル付けのおかげで学習に悪影響を及ぼさなかった。
• 出域事前学習の使用により、ドメイン内データが限られている状況でも表現学習が顕著に向上した。
• ノイズに強く、言い換えの品質が完璧でなくても、下流のNLU性能向上に寄与することが示された。