[論文レビュー] BiToD: A Bilingual Multi-Domain Dataset For Task-Oriented Dialogue Modeling

Zhaojiang Lin, Andrea Madotto+6 more|arXiv (Cornell University)|Jun 5, 2021

Topic Modeling参考文献 36被引用数 35

ひとこと要約

BiToDは、7,232対話と144k発話を含む、初の英中バイリンガル多ドメインEnd-to-end ToDデータセットを、モノリンガル、バイリンガル、およびクロスリンガル設定のベースラインとともに紹介します。低リソースシナリオで特に、バイリンガル訓練とバイリンガル知識ベースがクロスリンガル転移に有益であることを示します。

ABSTRACT

Task-oriented dialogue (ToD) benchmarks provide an important avenue to measure progress and develop better conversational agents. However, existing datasets for end-to-end ToD modeling are limited to a single language, hindering the development of robust end-to-end ToD systems for multilingual countries and regions. Here we introduce BiToD, the first bilingual multi-domain dataset for end-to-end task-oriented dialogue modeling. BiToD contains over 7k multi-domain dialogues (144k utterances) with a large and realistic bilingual knowledge base. It serves as an effective benchmark for evaluating bilingual ToD systems and cross-lingual transfer learning approaches. We provide state-of-the-art baselines under three evaluation settings (monolingual, bilingual, and cross-lingual). The analysis of our baselines in different settings highlights 1) the effectiveness of training a bilingual ToD system compared to two independent monolingual ToD systems, and 2) the potential of leveraging a bilingual knowledge base and cross-lingual transfer learning to improve the system performance under low resource condition.

研究の動機と目的

• 多言語設定におけるエンドツーエンド ToD研究を促進・可能にするため、バイリンガルで多ドメインのベンチマークを提供する。
• 7つのサービスと5つのドメインにわたる、英語と中国語の現実的なバイリンガル知識ベースと7,000対話を構築する。
• クロス言語転移とリソース効率的な学習を研究するため、モノリンガル、バイリンガル、クロスリンガル ToDシステムを評価する。

提案手法

• 98の地下鉄駅、305の観光名所、699のホテル、1,218のレストラン、および合成Weatherデータを含むバイリンガル知識ベースを作成する。
• 7つのサービスAPI（Restaurant_Searching, Restaurant_Booking, Hotel_Searching, Hotel_Booking, Attraction_Searching, MTR_info, Weather_info）を設計し、決定論的でKBに基づくAPI呼び出しを強制する。
• スキーマ設計、目標サンプリング、バイリンガルシミュレータを用いた対話アウトライン生成、クラウドソーシングパラフレーズの4段階のM2M-to-humanパイプラインを通じて対話を収集する。
• 対話状態をスロット-リレーション-値の三つ組としてエンコードし、DST（Joint Goal Accuracy）で評価する。
• MinTLとクロスリンガル転移（MTL）に基づく3つのベースラインを提案し、multilingual seq2seqバックボーンとしてmBARTとmT5を使用する。
• モノリンガル、バイリンガル、クロスリンガルの3設定を検討し、対象言語のデータが10%の低リソースシナリオを含む。

実験結果

リサーチクエスチョン

• RQ1 バイリンガルToDデータでの訓練は、独立して訓練されたモノリンガルToDシステムを上回るか？
• RQ2 低リソース条件下で、バイリンガル知識ベースとクロスリンガル転移はToDの性能を改善するか？
• RQ3 多言語事前学習を用いたエンドツーエンドToDモデルは、モノリンガル、バイリンガル、クロスリンガル設定でどれだけ性能を発揮するか？
• RQ4 決定論的なAPIの使用と混合言語コンテキストがバイリンガルToDのシステム性能に与える影響は？
• RQ5 クロスリンガル転送戦略（CPT、MLT）は、ソース言語の知識をターゲット言語タスクにどれだけ効果的に活用するか？

主な発見

• バイリンガル訓練は、2つの独立したモノリンガル ToDシステムを上回ることができ、言語間協力の価値を示している。
• バイリンガル知識ベースとクロスリンガル転移学習は、低リソースのターゲット言語における性能を向上させる。
• クロスリンガル事前トレーニングと混合言語訓練は、ゼロショットおよびfew-shot転送を大幅に支援し、DSTとエンドツーエンドタスクの成果を向上させる。
• 決定論的APIのランキングと知識に基づく生成は評価の課題に対処し、現実世界の制約とシステム挙動を整合させる。
• mT5ベースのモデルは一般にバイリンガル設定で高性能を示し、mBARTはモノリンガル訓練体制で強みを示す。