[論文レビュー] Attention-Informed Mixed-Language Training for Zero-shot Cross-lingual Task-oriented Dialogue Systems

Zihan Liu, Genta Indra Winata+3 more|arXiv (Cornell University)|Nov 21, 2019

Topic Modeling参考文献 23被引用数 14

ひとこと要約

本稿では、事前学習済み英語モデルのアテンションスコアを用いてキーワードを特定し、それらをターゲット言語の翻訳に置き換えることでコードスイッチドな訓練文を生成する、Attention-Informed Mixed-Language Training (MLT) を提案する。わずか数組の並列語群を用いるだけで、低リソース言語における対話状態追跡および自然言語理解のゼロショット性能が顕著に向上し、従来の最先端手法と比較してはるかに少ない双語リソースで優れた性能を達成する。

ABSTRACT

Recently, data-driven task-oriented dialogue systems have achieved promising performance in English. However, developing dialogue systems that support low-resource languages remains a long-standing challenge due to the absence of high-quality data. In order to circumvent the expensive and time-consuming data collection, we introduce Attention-Informed Mixed-Language Training (MLT), a novel zero-shot adaptation method for cross-lingual task-oriented dialogue systems. It leverages very few task-related parallel word pairs to generate code-switching sentences for learning the inter-lingual semantics across languages. Instead of manually selecting the word pairs, we propose to extract source words based on the scores computed by the attention layer of a trained English task-related model and then generate word pairs using existing bilingual dictionaries. Furthermore, intensive experiments with different cross-lingual embeddings demonstrate the effectiveness of our approach. Finally, with very few word pairs, our model achieves significant zero-shot adaptation performance improvements in both cross-lingual dialogue state tracking and natural language understanding (i.e., intent detection and slot filling) tasks compared to the current state-of-the-art approaches, which utilize a much larger amount of bilingual data.

研究の動機と目的

• 高品質な訓練データが不足する低リソース言語向けに、タスク指向型対話システムを開発する課題に対処すること。
• 大規模な並列コーパスに依存しないようにすることで、対話システムにおけるゼロショットクロスリンガル転移を改善すること。
• アテンション機構を活用して意味的に重要な語を同定し、コードスイッチングに活用することで、クロスリンガル一般化を向上させること。
• ゼロショット適応における異なるクロスリンガル埋め込み（MUSE, RCSLS, XLM, Multilingual BERT）の有効性を評価すること。
• 人間によるアノテーションやオントロジーに基づく語群と比較して、アテンションにインformedな語選択が低リソース環境で優れていることを示すこと。

提案手法

• 事前学習済み英語対話モデルのアテンションスコアを用いて、訓練発話文内のタスク関連キーワードを同定する。
• 選択された英語語を、既存の双語辞書を用いてターゲット言語の翻訳とペアリングし、コードスイッチド文を構築する。
• これらの混合言語文でモデルをファインチューニングすることで、キーワード関連語の言語間意味的整合性を学習する。
• クロスリンガル埋め込み（MUSE, RCSLS, XLM, Multilingual BERT）を用いて、未学習言語へのゼロショット転移を支援する。
• 本アプローチにより、元の語群リストに含まれない語、例えば類義語やドメイン関連語など、意味的に類似した語にも一般化できる。
• 推論時、学習済みのアテンションパターンを活用して、それらに明示的に訓練されていなくても、ターゲット言語の同等語や類似語に注目できる。

実験結果

リサーチクエスチョン

• RQ1 アテンションスコアを用いて選択された最小限の並列語群（数組）を用いることで、タスク指向型対話システムにおける効果的なゼロショットクロスリンガル適応が可能か？
• RQ2 アテンションにインformedな語選択を用いたコードスイッチング訓練は、人間によるアノテーションやオントロジーに基づく語選択と比較して、ゼロショット性能を向上させるか？
• RQ3 クロスリンガル埋め込み手法（特に低リソース環境下）の性能は、MLTにどのように影響を与えるか？
• RQ4 モデルは、元の語群リストに含まれない語（類義語や関連ドメイン語など）に対して、どの程度一般化できるか？
• RQ5 不完全なクロスリンガル語の埋め込みがゼロショット転移に与える悪影響を、MLTは軽減できるか？

主な発見

• わずか5組の並列語群を用いるだけで、MLTはスペイン語データにおいて意図検出で17.69%、スロットフィルティングで21.45%の絶対的向上を達成した。
• アテンションベースの語選択（MLT A）は、人間によるアノテーション語群（MLT H）を上回る意図検出性能を示し、モデル駆動の語選択の優位性を実証した。
• タイ語では、RCSLS埋め込みを用いたMLTが、XLMおよびMultilingual BERTに基づくモデルを上回り、語の形態論的複雑さに起因するサブワード長の問題に対しても頑健であることを示した。
• モデルは提供された語群を超えて一般化でき、たとえば「set」を意味する「configurer」と「establecer」のような意味的に類似した語に対しても正しく注目した。
• 可視化により、MLTモデルのアテンション層が、元の言語（例：「Set」）とターゲット言語（例：「Configurar」）の同等語に注目していることが確認された。これは、効果的なクロスリンガル整合性を示している。
• MLTベースのモデルは、対話状態追跡および自然言語理解の両分野で、従来の手法と比較してはるかに少ない双語リソースを用いて最先端のゼロショット性能を達成した。