[論文レビュー] Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation

Olga Majewska, Evgeniia Razumovskaia+3 more|arXiv (Cornell University)|Jan 31, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文は、ドメイン固有の対話スキーマを自然言語のアウトラインに変換することで、文化的に適切で自然な対話が複数言語で生成可能となる、アウトラインベースの手法を提案する。この手法により、11のドメインおよび4つの多様な言語で、多言語的・跨言語的対話システムの堅実な評価が可能な高品質な多言語対話データセット「Cross-lingual Outline-based Dialogue (cod)」が構築された。翻訳ベースの手法に比べ、データ品質が優れており、より現実的な性能ベンチマークを提供する。

ABSTRACT

Multilingual task-oriented dialogue (ToD) facilitates access to services and information for many (communities of) speakers. Nevertheless, the potential of this technology is not fully realised, as current datasets for multilingual ToD - both for modular and end-to-end modelling - suffer from severe limitations. 1) When created from scratch, they are usually small in scale and fail to cover many possible dialogue flows. 2) Translation-based ToD datasets might lack naturalness and cultural specificity in the target language. In this work, to tackle these limitations we propose a novel outline-based annotation process for multilingual ToD datasets, where domain-specific abstract schemata of dialogue are mapped into natural language outlines. These in turn guide the target language annotators in writing a dialogue by providing instructions about each turn's intents and slots. Through this process we annotate a new large-scale dataset for training and evaluation of multilingual and cross-lingual ToD systems. Our Cross-lingual Outline-based Dialogue dataset (termed COD) enables natural language understanding, dialogue state tracking, and end-to-end dialogue modelling and evaluation in 4 diverse languages: Arabic, Indonesian, Russian, and Kiswahili. Qualitative and quantitative analyses of COD versus an equivalent translation-based dataset demonstrate improvements in data quality, unlocked by the outline-based approach. Finally, we benchmark a series of state-of-the-art systems for cross-lingual ToD, setting reference scores for future work and demonstrating that COD prevents over-inflated performance, typically met with prior translation-based ToD datasets.

研究の動機と目的

• 翻訳ベースの作成方法に起因する不自然さや文化的不適切さ、およびデータ量の不足や対話フローの欠落といった、既存の多言語対話システム（ToD）データセットの限界を是正すること。
• 言語的・文化的真正性を保ちながら、スケーラブルかつコスト効率の良い多言語ToDデータ作成手法を確立し、跨言語的転移学習を可能にすること。
• エンドツーエンド対話生成、対話状態追跡、自然言語理解モデルの学習・評価に適した、大規模で多言語的・多ドメインの対話データセットを構築すること。
• 翻訳ベースのデータセットで一般的に見られる楽観的すぎる性能推定を回避し、より信頼性の高い跨言語的ToDシステムの評価を可能にする現実的なベンチマークを提供すること。

提案手法

• 英語の「Schema-Guided Dialogue（SGD）」データセットから、ドメイン固有で言語に依存しない対話スキーマを抽出し、抽象的なテンプレートとして定義する。
• これらのスキーマを自動的に英語の自然言語アウトラインに変換し、各対話ターンにおける意図と必要なスロット値を明示する。
• ターゲット言語（アラビア語、インドネシア語、ロシア語、キスワヒリ語）のネイティブスピーカーが、これらのアウトラインを指針として用い、現地の文脈に合わせたスロット値に置き換えた自然で文化的に適切な対話を生成する。
• このプロセスにより、言語間の比較可能性を保ちながら、言語の自然さと文化的特異性を損なわず、直接翻訳による欠点を回避する。
• 最終的なデータセット「cod」は、11のドメインおよび4つの言語で、意図検出、スロットラベル付け、対話状態追跡、エンドツーエンド対話生成の複数のタスクをサポートする。
• アブレーションスタディにより、翻訳ベースのベースラインと比較し、データ品質およびモデルの一般化性能の両面で質的・定量的な改善が確認された。

実験結果

リサーチクエスチョン

• RQ1 アウトラインベースのアノテーションパイプラインは、翻訳ベースの手法に比べ、より自然で文化的に適切な多言語対話データを生成できるか？
• RQ2 提案手法は、跨言語的対話システムの一般化性能向上およびより現実的な性能評価を可能にするか？
• RQ3 codデータセットは、特にクロスドメインおよびエンドツーエンド設定において、複数のドメインおよび言語での評価をどの程度サポートできるか？
• RQ4 最先端の跨言語モデルは、codに対して翻訳ベースのベンチマークと比較してどの程度の性能を示すか？また、codは過剰に inflated された性能推定を防げるか？

主な発見

• 質的分析により、アウトラインベースの手法が翻訳ベースのベースラインに比べ、顕著に自然さと文化的特異性が向上した対話を生成することが確認された。
• codデータセットは、翻訳ベースのベンチマークで一般的に見られる楽観的すぎる性能推定を回避し、跨言語的転移のより現実的な評価を可能にした。
• codにおけるドメイン内意図検出の正確度はXLM-Rで32.07%に達し、スロットラベル付けのF1スコアはXLM-Rで53.36%に達した。改善の余地が著しく残っていることから、データセットの挑戦性と有用性が示された。
• クロスドメイン性能はドメイン内性能に比べ顕著に低く、ゼロショットまたはフェイシュートのクロスドメイン転移の難易度が顕在化しており、本データセットがこうした評価に適していることが裏付けられた。
• エンドツーエンド生成におけるBLEUスコアは低く（例：mT5ではクロスドメインで3.76）、エンドツーエンドモデルにとって意味のある課題を提供していることが確認された。
• codデータセットは、11のドメインおよび4つの語族的に多様な言語をカバーする最初の多言語ToDリソースであり、NLU、DST、E2Eシステムの包括的ベンチマークを可能にした。