[論文レビュー] Contextual Semantic Parsing for Multilingual Task-Oriented Dialogues

Mehrad Moradshahi, Victoria Tsai+2 more|arXiv (Cornell University)|Nov 4, 2021

Speech and dialogue systems被引用数 4

ひとこと要約

本稿では、スロット値の整合性を保つニューラル機械翻訳を用いた多言語対話状態追跡フレームワークを提案する。この手法により、人的なアノテーションを一切行わず、高品質で低リソースな言語用データセットを自動的に作成できる。文脈的意味解析モデル（BART-CSP）を用い、対話履歴の全情報を使用する代わりに、最後の発話と現在の信念状態のみをエンコードすることで、翻訳誤りの累積を低減し、RiSAWOZ、CrossWOZ、MultiWOZ-ZH といった多言語ベンチマークで、11–52.5%のSOTA（最先端）の共同目的正答率向上を達成した。

ABSTRACT

Robust state tracking for task-oriented dialogue systems currently remains restricted to a few popular languages. This paper shows that given a large-scale dialogue data set in one language, we can automatically produce an effective semantic parser for other languages using machine translation. We propose automatic translation of dialogue datasets with alignment to ensure faithful translation of slot values and eliminate costly human supervision used in previous benchmarks. We also propose a new contextual semantic parsing model, which encodes the formal slots and values, and only the last agent and user utterances. We show that the succinct representation reduces the compounding effect of translation errors, without harming the accuracy in practice. We evaluate our approach on several dialogue state tracking benchmarks. On RiSAWOZ, CrossWOZ, CrossWOZ-EN, and MultiWOZ-ZH datasets we improve the state of the art by 11%, 17%, 20%, and 0.3% in joint goal accuracy. We present a comprehensive error analysis for all three datasets showing erroneous annotations can lead to misguided judgments on the quality of the model. Finally, we present RiSAWOZ English and German datasets, created using our translation methodology. On these datasets, accuracy is within 11% of the original showing that high-accuracy multilingual dialogue datasets are possible without relying on expensive human annotations. We release our datasets and software open source.

研究の動機と目的

• 人的なアノテーションデータセットに依存せずに、低リソース言語における高精度な対話状態追跡を可能にすること。
• 翻訳誤りの累積効果を軽減するため、対話履歴の全情報を使用する代わりに、最新の発話と現在の信念状態のみを入力文脈に制限すること。
• ニューラル機械翻訳とスロット値の整合性を保つ手法を用いて、自動的かつスケーラブルな多言語対話データセット作成パイプラインを開発すること。
• 提案手法の多言語ベンチマークにおける頑健性を評価し、モデル評価を誤導する可能性のあるアノテーション誤りを分析すること。
• 今後の多言語タスク指向対話研究のため、オープンソースのツールとデータセット（RiSAWOZ-EN および RiSAWOZ-DE）を公開すること。

提案手法

• ニューラル機械翻訳を用いて、既存の対話データセット（例：RiSAWOZ）をターゲット言語に自動的に翻訳し、スロット値の正確性を保つための新しい整合性メカニズムを導入する。
• 元言語のスロットと値を正しくターゲット言語に翻訳するようにマッピングするスロット値整合性モデルを適用し、重要なエンティティの誤訳を低減する。
• BARTに基づく文脈的意味解析（CSP）モデルを設計し、対話履歴全体ではなく、現在の信念状態と最後のユーザー発話・エージェント発話をのみエンコードする。
• 翻訳済みデータセットで微調整されたseq2seq Transformerアーキテクチャ（BART）を用い、スロット値ペアを予測する。事前学習済み言語理解モデルを活用することで、一般化性能を向上させる。
• すべてのスロット値ペアを同時に正しく予測することに焦点を当てた、共同目的正答率を最適化する損失関数を適用する。
• RiSAWOZ、CrossWOZ、MultiWOZ-ZH、および新規に作成されたRiSAWOZ-EN-auto および RiSAWOZ-DE-auto データセットを含む多言語ベンチマークでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 スロット値の整合性を保つ自動機械翻訳は、人的な後処理なしに高品質な多言語対話データセットを生成できるか？
• RQ2 最後の発話と現在の信念状態のみを入力文脈に制限することで、対話状態追跡における翻訳誤りの累積が軽減されるか？
• RQ3 文脈的意味解析モデルは、特に自動翻訳されたデータで学習された場合、全履歴モデルを上回る性能を示せるか？
• RQ4 既存のベンチマークに存在するアノテーション誤りが、対話状態追跡モデルの評価にどのように影響を与えるか？
• RQ5 自動翻訳データで学習した多言語対話システムは、人的アノテーションベースラインと比較してどの程度の性能を達成できるか？

主な発見

• 提案された整合性手法により、非整合翻訳と比較してRiSAWOZにおける共同目的正答率が45.6%向上し、人的な後処理の必要がなくなり、コスト削減が実現した。
• BART-CSPモデルは、RiSAWOZで10.7%、CrossWOZで17%の共同目的正答率向上を達成し、先行SOTAモデルを上回った。
• 自動翻訳データセット（RiSAWOZ-EN-auto および RiSAWOZ-DE-auto）において、BART-CSPはそれぞれ32.4%および52.5%の共同目的正答率向上を達成し、翻訳ノイズに対して強い頑健性を示した。
• 新規に作成されたRiSAWOZ-ENおよびRiSAWOZ-DEデータセットにおけるモデルの性能は、元の英語データセットの性能から11%以内に留まり、ゼロショット多言語転送の高精度性を示した。
• 誤り分析の結果、CrossWOZの33%の誤アノテーションが「Best for crowd」スロットの欠落に起因しており、アノテーションの不整合がモデル評価を誤導する可能性があることが判明した。
• 論理的推論タスク（例：価格帯の拡張：100–150 を 80–150 に拡張）では、エージェントの応答が示唆しているにもかかわらず、モデルが新しい範囲を正しく推論できないことが多く、課題を示した。