[論文レビュー] Cross-Lingual Transfer Learning for Multilingual Task Oriented Dialog

Sebastian Schuster, Sonal Gupta+2 more|arXiv (Cornell University)|Oct 31, 2018

Topic Modeling参考文献 45被引用数 16

ひとこと要約

本論文では、天気、アラーム、メモリの3つのドメインにまたがる英語、スペイン語、タイ語の合計57,000件のアノテート済み発話文を含む新しい多言語データセットを紹介し、意図分類およびスロット分類のための3つのクロスリンガル転移手法を評価する：訓練データの翻訳、クロスリンガル静的埋め込みの使用、および文脈的単語表現としての多言語機械翻訳エンコーダーを用いる新規手法。主な発見は、低リソース設定では多言語文脈的表現が翻訳されたデータを上回り、また、わずかな量のターゲット言語データさえあれば、単語ごとのELMoモデルがすべてのクロスリンガル手法を上回ることである。

ABSTRACT

One of the first steps in the utterance interpretation pipeline of many task-oriented conversational AI systems is to identify user intents and the corresponding slots. Since data collection for machine learning models for this task is time-consuming, it is desirable to make use of existing data in a high-resource language to train models in low-resource languages. However, development of such models has largely been hindered by the lack of multilingual training data. In this paper, we present a new data set of 57k annotated utterances in English (43k), Spanish (8.6k) and Thai (5k) across the domains weather, alarm, and reminder. We use this data set to evaluate three different cross-lingual transfer methods: (1) translating the training data, (2) using cross-lingual pre-trained embeddings, and (3) a novel method of using a multilingual machine translation encoder as contextual word representations. We find that given several hundred training examples in the the target language, the latter two methods outperform translating the training data. Further, in very low-resource settings, multilingual contextual word representations give better results than using cross-lingual static embeddings. We also compare the cross-lingual methods to using monolingual resources in the form of contextual ELMo representations and find that given just small amounts of target language data, this method outperforms all cross-lingual methods, which highlights the need for more sophisticated cross-lingual methods.

研究の動機と目的

• 高リソース言語から低リソース言語への転移学習を可能にすることで、タスク指向対話システムにおける低リソース言語開発の課題に対処すること。
• 意図およびスロット分類のための公開可能で一貫性のある多言語データセットの不足を補うこと。
• データ翻訳、クロスリンガル埋め込み、および新規の多言語シーケンスエンコーダーを含む、複数のクロスリンガル転移戦略を評価・比較すること。
• ターゲット言語の訓練データの有無に基づいて最適な転移手法を特定すること。
• 今後の低リソースクロスリンガルNLU研究を支援するため、新しい多言語データセットを公開すること。

提案手法

• 共有のアノテーションスキームを用いて、英語43,000件、スペイン語8,600件、タイ語5,000件の発話文を、天気、アラーム、メモリの3つのドメインでアノテートする。
• 単語ごとの表現とクロスリンガル表現を用いて、単語分類とスロット埋め込みを同時に学習するbiLSTM-CRFモデルを訓練する。
• 3つのクロスリンガル転移手法を適用する：(1) 英語の訓練データをターゲット言語に翻訳する、(2) クロスリンガル静的単語埋め込み（XLU）を使用する、(3) 多言語ニューラル機械翻訳エンコーダーを文脈的単語表現として採用する。
• ターゲット言語データにのみトレーニングされた単語ごとのELMo表現との性能を比較する。
• 高リソース言語および低リソース言語のデータを統合してトレーニングすることで、ゼロショットおよびフェイシュート転移学習を向上させる。
• 標準的な指標を用いて、テスト分割における意図分類およびスロット分類の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳エンコーダーから得られる多言語文脈的単語表現を用いることで、データ翻訳に比べて低リソース言語における意図分類およびスロット分類の性能が向上するか？
• RQ2 利用可能なターゲット言語の訓練データ量に応じて、クロスリンガル転移手法の性能はどのように変化するか？
• RQ3 わずかな量のターゲット言語データが利用可能な状況で、多言語文脈的表現が単語ごとのELMoモデルを上回るか？
• RQ4 フェイシュート設定において、クロスリンガル静的埋め込みとエンドツーエンドの多言語表現の性能はどのように比較されるか？
• RQ5 高リソース言語および低リソース言語のデータを同時にトレーニングすることで、モデルの汎化性能にどのような影響を与えるか？

主な発見

• ターゲット言語の訓練データが一切ないゼロショット設定では、英語の訓練データをターゲット言語に翻訳する手法が最も高い性能を示す。
• 数100件程度のターゲット言語訓練例があれば、多言語文脈的表現を用いた統合トレーニングが、データ翻訳および静的クロスリンガル埋め込みを上回る。
• 非常に低リソースの設定では、多言語文脈的表現が静的クロスリンガル埋め込みを著しく上回る。
• わずかな量のターゲット言語データでトレーニングされた単語ごとのELMo表現が、すべてのクロスリンガル手法を上回り、より洗練されたクロスリンガルモデリングの必要性を浮き彫りにする。
• 本研究で提示された57,000件の発話文からなる多言語データセットにより、英語、スペイン語、タイ語間でのクロスリンガル転移の体系的評価が可能になる。
• 結果から、クロスリンガル転移は有効であるが、わずかなターゲット言語データが利用可能であれば、単語ごとの事前学習が依然として極めて有効であることが示唆される。