[論文レビュー] Crossing the Conversational Chasm: A Primer on Multilingual Task-Oriented Dialogue Systems.

Evgeniia Razumovskaia, Goran Glavašš+3 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 108被引用数 13

ひとこと要約

この論文は、多言語対話型タスク指向対話（ToD）システムにおけるデータ不足と英語などの高リソース言語への依存を、根幹的な障壁として特定する。機械翻訳と多言語埋め込みのクロスリンガル転移手法をレビューし、真の多言語対話型ToDを実現するために、クロスリンガル転移と多言語事前学習を活用したスケーラブルで低リソースな解決策を提案する。

ABSTRACT

Despite the fact that natural language conversations with machines represent one of the central objectives of AI, and despite the massive increase of research and development efforts in conversational AI, task-oriented dialogue (ToD) -- i.e., conversations with an artificial agent with the aim of completing a concrete task -- is currently limited to a few narrow domains (e.g., food ordering, ticket booking) and a handful of major languages (e.g., English, Chinese). In this work, we provide an extensive overview of existing efforts in multilingual ToD and analyse the factors preventing the development of truly multilingual ToD systems. We identify two main challenges that combined hinder the faster progress in multilingual ToD: (1) current state-of-the-art ToD models based on large pretrained neural language models are data hungry; at the same time (2) data acquisition for ToD use cases is expensive and tedious. Most existing approaches to multilingual ToD thus rely on (zero- or few-shot) cross-lingual transfer from resource-rich languages (in ToD, this is basically only English), either by means of (i) machine translation or (ii) multilingual representation spaces. However, such approaches are currently not a viable solution for a large number of low-resource languages without parallel data and/or limited monolingual corpora. Finally, we discuss critical challenges and potential solutions by drawing parallels between ToD and other cross-lingual and multilingual NLP research.

研究の動機と目的

• 多言語対話型タスク指向対話（ToD）システムの開発における現在の制限要因を分析すること。
• データ不足と英語のような高リソース言語への依存を、多言語ToDにおける主なボトル neck として特定すること。
• 低リソース言語への転移を目的とした、既存のクロスリンガル転移アプローチ（機械翻訳と多言語表現空間）を評価すること。
• 広範な多言語NLP研究と類似点を明らかにすることで、スケーラブルな多言語ToDのための道筋を提案すること。
• 英語からのゼロショットまたはフェイワショット転移に依存しない、低リソースでデータ効率の良い手法の緊急の必要性を強調すること。

提案手法

• 主に英語に依存する既存の多言語ToDシステムと、その高リソース言語からの転移依存を調査すること。
• 大規模事前学習済みニューラル言語モデルが、効果的なToD性能を達成するためのデータ需要を促進する役割を分析すること。
• 2つの主な転移戦略を評価する：(i) 高リソース言語のデータを機械翻訳で低リソース言語に翻訳する方法、および (ii) ゼロショットまたはフェイワショット転移に多言語表現空間を活用する方法。
• 広範な多言語NLP研究から類似点を引き出し、多言語対話型ToDに適用可能なスケーラブルでデータ効率の良い技術を同定すること。
• 並列データの不足と限定的な単語語彙の不足が、低リソース言語の主な制約要因であることを強調すること。
• 今後の進展は、多言語事前学習と低リソース微調整戦略の革新にかかっていると提言すること。

実験結果

リサーチクエスチョン

• RQ1 真の多言語対話型タスク指向対話システムの開発を妨げる主な技術的・データ関連の障壁は何ですか？
• RQ2 低リソース言語環境における対話型タスク指向対話（ToD）において、ゼロショットまたはフェイワショットのクロスリンガル転移手法はどの程度効果的ですか？
• RQ3 機械翻訳と多言語表現空間は、低リソース言語における単語語彙のToDデータにどの程度代替可能でしょうか？
• RQ4 広範な多言語NLP分野から、多言語対話型ToDにおけるデータ不足を克服するために何を応用できるでしょうか？
• RQ5 英語を唯一のソース言語として依存しない、スケーラブルでデータ効率の良いアプローチは、どのようなものが必要でしょうか？

主な発見

• 大規模事前学習言語モデルに依存する現在の最先端のToDモデルは、非常に高いデータ消費量であり、低リソース言語への適用性を制限している。
• 大多数の多言語ToDアプローチは英語からの転移に依存しており、並列データや十分な単語語彙が存在しない言語には実用的でない。
• データ不足のため、機械翻訳や多言語埋め込みによるゼロショットまたはフェイワショット転移は、低リソース環境で安定したパフォーマンスを発揮できない。
• 並列データの欠如と限定的な単語語彙の不足は、多言語対話型ToDにおける低リソース言語の主要なボトル neck のままである。
• データ効率性の向上がなければ、クロスリンガル転移手法は多様な言語に広く展開するには不十分である。
• 多言語対話型ToD分野における今後の進展は、多言語表現学習と事前学習の進展にインspiredされたスケーラブルで低リソースな解決策にかかっている。