[論文レビュー] Multilingual Question Answering from Formatted Text applied to Conversational Agents

Wissam Siblini, Charlotte Pasqual+3 more|arXiv (Cornell University)|Oct 10, 2019

Topic Modeling参考文献 44被引用数 13

ひとこと要約

この論文は、多言語 BERT (mBERT) が、ラベル付きのターゲット言語データが一切不要な状態でも、抽出型質問応答のゼロショットクロスリンガル転送を可能にすることを示している。フランス語と日本語においても優れた性能を達成している。さらに、機械翻訳による合成データとゼロショット転送を組み合わせることで性能が著しく向上し、社内コンテンツを用いて複数言語で質問に答える実用的な多言語 HR チャットボット「Kate」の実現に貢献した。

ABSTRACT

Recent advances with language models (e.g. BERT, XLNet, ...), have allowed surpassing human performance on complex NLP tasks such as Reading Comprehension. However, labeled datasets for training are available mostly in English which makes it difficult to acknowledge progress in other languages. Fortunately, models are now pre-trained on unlabeled data from hundreds of languages and exhibit interesting transfer abilities from one language to another. In this paper, we show that multilingual BERT is naturally capable of zero-shot transfer for an extractive Question Answering task (eQA) from English to other languages. More specifically, it outperforms the best previously known baseline for transfer to Japanese and French. Moreover, using a recently published large eQA French dataset, we are able to further show that (1) zero-shot transfer provides results really close to a direct training on the target language and (2) combination of transfer and training on target is the best option overall. We finally present a practical application: a multilingual conversational agent called Kate which answers to HR-related questions in several languages directly from the content of intranet pages.

研究の動機と目的

• フランス語や日本語のような低リソース言語における多言語 QA のための mBERT のゼロショット転送能力を評価すること。
• 機械翻訳による合成学習データがゼロショット転送性能を向上させるかどうかを調査すること。
• 複数言語のウェブコンテンツから質問に答えることができる実用的な多言語会話エージェント（Kate）の開発およびデプロイを行うこと。
• 質問と文脈が異なる言語で書かれた場合に mBERT がどのようにクロスリンガル QA を処理できるかを評価すること。
• 事前に学習された多言語モデルを活用することで、多言語 QA における手動でアノテートされた学習データへの依存度を低減すること。

提案手法

• 抽出型質問応答のための mBERT を、英語の SQuAD データセットで微調整する。
• 微調整済みの mBERT モデルを、フランス語や日本語の質問-回答ペアに直接適用し、追加の微調整なしに使用する（ゼロショット転送）。
• ニューラル機械翻訳を用いて、英語の SQuAD の質問と文脈をターゲット言語に翻訳することで、合成学習データを生成する。
• 合成多言語データ上で mBERT を微調整し、ゼロショット性能を向上させる。
• mBERT を、HTML に変換された社内ウェブページから回答を取得する会話エージェントアーキテクチャに統合する。
• リtrieval-augmented QA パipelaine を使用：URL からテキストを抽出し、それぞれを mBERT の文脈として入力し、スコアが最も高い回答を選択する。

実験結果

リサーチクエスチョン

• RQ1 mBERT は、ターゲット言語用のラベル付きデータが一切ない状態でも、英語からフランス語および日本語へのゼロショットクロスリンガル質問応答を実現できるか？
• RQ2 ターゲット言語データセット上で直接学習した場合と比較して、ゼロショット転送の性能はどの程度か？
• RQ3 機械翻訳による合成データが、ゼロショット転送性能をどの程度向上させられるか？
• RQ4 質問と文脈が異なる言語で書かれた場合に、mBERT はクロスリンガル QA を処理できるか？
• RQ5 多様な言語の社内コンテンツから回答を取得する実世界の多言語会話エージェントにおいて、mBERT の有効性はどの程度か？

主な発見

• mBERT はフランス語および日本語において、両言語で先行研究のベースラインを上回る優れたゼロショット転送性能を達成した。
• 特に新しく公開されたフランス語の eQA データセットのような大規模なターゲット言語データセットを用いる場合、ゼロショット転送の結果は、ターゲット言語データセット上で直接学習した場合と非常に近い性能を示した。
• ゼロショット転送と機械翻訳による合成データの組み合わせにより、人手でアノテートされた学習データと同等の性能が得られた。
• mBERT は、質問と文脈の間に語彙的類似性がない場合、たとえば英語の質問とフランス語の文脈の組み合わせのようなクロスリンガル例でも、質問に正しく答えられることを確認した。
• mBERT を HR チャットボット「Kate」に実装することで、手動での意図や応答のキュレーションが不要な状態で、非構造化された社内コンテンツから正確な多言語 QA が可能になった。
• 強力な性能を発揮しているものの、mBERT は複数の非連続なテキストセグメントに散らばった答えを処理する際に苦労しており、回答の統合技術の導入が求められることが示された。