[論文レビュー] Improving Robustness of Task Oriented Dialog Systems

Arash Einolghozati, Sonal Gupta+2 more|arXiv (Cornell University)|Nov 12, 2019

Topic Modeling参考文献 35被引用数 16

ひとこと要約

本稿では、逆方向翻訳とノイズありオートエンコーダーを用いて敵対的テストセットを生成し、逆方向翻訳と敵対的ロジットペアリング損失を用いてデータ拡張することで、タスク指向対話システムの耐性を向上させる手法を提案する。両技術の組み合わせは、敵対的例に対する性能を顕著に向上させる一方で、クリーンデータに対する高い正確性を維持する。

ABSTRACT

Task oriented language understanding in dialog systems is often modeled using intents (task of a query) and slots (parameters for that task). Intent detection and slot tagging are, in turn, modeled using sentence classification and word tagging techniques respectively. Similar to adversarial attack problems with computer vision models discussed in existing literature, these intent-slot tagging models are often over-sensitive to small variations in input -- predicting different and often incorrect labels when small changes are made to a query, thus reducing their accuracy and reliability. However, evaluating a model's robustness to these changes is harder for language since words are discrete and an automated change (e.g. adding `noise') to a query sometimes changes the meaning and thus labels of a query. In this paper, we first describe how to create an adversarial test set to measure the robustness of these models. Furthermore, we introduce and adapt adversarial training methods as well as data augmentation using back-translation to mitigate these issues. Our experiments show that both techniques improve the robustness of the system substantially and can be combined to yield the best results.

研究の動機と目的

• タスク指向対話システムにおける統合的意図検出およびスロットタギングモデルの、微小な入力摂動に対する耐性を分析すること。
• 逆方向翻訳と系列オートエンコーダーを用いて、多様でターゲットのない敵対的テストセットを生成し、モデルの耐性を評価すること。
• 逆方向翻訳と新しい敵対的ロジットペアリング損失関数を用いたデータ拡張により、モデルの耐性を向上させること。
• データ拡張とロジットペアリングの組み合わせが、NLPにおける敵対的例に対する防御として効果的であるかを評価すること。

提案手法

• 2種類の異なる言語を用いた逆方向翻訳とノイズありオートエンコーダーを用いて、並列的で構造的に変更された入力を生成することで、敵対的テストセットを生成する。
• 訓練中に複数の機械翻訳システムと補助言語を用いて、逆方向翻訳に基づくデータ拡張を実施し、入力の多様性を向上させる。
• 敵対的ロジットペアリング損失を導入し、元の入力と逆方向翻訳された入力のロジットの差を最小化することで、両者の予測の一貫性を高める。
• 自己学習を用いて、逆方向翻訳された並列文を自動的にラベル付けし、データ拡張およびロジットペアリングの両方で利用する。
• クリーンデータ、逆方向翻訳された拡張データ、および敵対的ロジットペアリング損失を組み合わせてモデルを訓練することで、耐性を向上させる。
• クリーンテストセットおよび敵対的テストセットの両方でモデルの性能を評価し、耐性の向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 逆方向翻訳とオートエンコーダーに基づく手法は、意図およびスロットタギングのための多様でターゲットのない敵対的例を生成するうえでどれほど効果的か？
• RQ2 逆方向翻訳に基づくデータ拡張は、クリーンテストデータにおける性能を低下させることなく、モデルの耐性を向上させることができるか？
• RQ3 敵対的ロジットペアリング損失は、系列タギングおよび統合的意図検出の文脈でモデルの耐性を向上させるか？
• RQ4 データ拡張とロジットペアリングを組み合わせた場合、単独で使用する場合と比較して、敵対的正確性においてどの程度優れているか？
• RQ5 異なる機械翻訳システムおよび補助言語を用いることで、敵対的例および訓練データの質と多様性にどの程度の影響を与えるか？

主な発見

• 逆方向翻訳に基づくデータ拡張と敵対的ロジットペアリング損失を組み合わせることで、敵対的テストセットにおける性能が最も向上し、耐性が顕著に向上する。
• 逆方向翻訳とオートエンコーダーの両方を用いて生成された敵対的テストセットは、いずれかの手法のみで生成されたテストセットを上回る性能を示す。
• 逆方向翻訳に基づくデータ拡張は、敵対的例に直接的に対処しないものの、モデルの一般化能力および耐性を向上させる。
• 敵対的ロジットペアリング損失は、元の入力と摂動を加えた入力の間での予測分散を効果的に低減し、意思決定境界を滑らかにする。
• 両防御技術の組み合わせは、クリーンテストセットにおける高い正確性を維持するとともに、敵対的正確性を顕著に向上させる。
• 複数の補助言語および翻訳システムを逆方向翻訳に用いることで、敵対的例および拡張された訓練データの多様性と有効性が向上する。