[論文レビュー] Zero-Resource Multilingual Model Transfer: Learning What to Share

Xilun Chen, Ahmed Hassan Awadallah+3 more|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling被引用数 17

ひとこと要約

本稿では、敵対的訓練と混合専門家アーキテクチャを用いて、言語に依存しない特徴と言語に特有の特徴を統合的に活用する多言語転移学習モデルを提案する。これにより、ターゲット言語のデータやクロスリンガルリソースが存在しない状況でも、効果的なゼロリソース転移が可能になる。本モデルは、複数のテキスト分類およびシーケンスタギングタスクにおいて、包括的な産業用大規模データセットも含め、最先端の性能を達成している。

ABSTRACT

Modern NLP applications have enjoyed a great boost utilizing neural networks models. Such deep neural models, however, are not applicable to most human languages due to the lack of annotated training data for various NLP tasks. Cross-lingual transfer learning (CLTL) is a viable method for building NLP models for a low-resource target language by leveraging labeled data from other (source) languages. In this work, we focus on the multilingual transfer setting where training data in multiple source languages is leveraged to further boost target language performance. Unlike most existing methods that rely only on language-invariant features for CLTL, our approach coherently utilizes both language-invariant and language-specific features at instance level. Our model leverages adversarial networks to learn language-invariant features, and mixture-of-experts models to dynamically exploit the similarity between the target language and each individual source language. This enables our model to learn effectively what to share between various languages in the multilingual setup. Moreover, when coupled with unsupervised multilingual embeddings, our model can operate in a zero-resource setting where neither target language training data nor cross-lingual resources are available. Our model achieves significant performance gains over prior art, as shown in an extensive set of experiments over multiple text classification and sequence tagging tasks including a large-scale industry dataset.

研究の動機と目的

• アノテート済みトレーニングデータが存在しない低リソース言語向けに、有効なNLPモデルを構築する課題に対処すること。
• インスタンスレベルで言語に依存しない特徴と言語に特有の特徴を一貫して統合することで、多言語転移学習を向上させること。
• ラベル付きターゲット言語データやクロスリンガルリソースが一切存在しない状況でのゼロリソース学習を可能にすること。
• ターゲット言語に類似する言語を動的に特定し、その言語をどの程度活用するかを決定すること。
• 低リソース環境下での多言語テキスト分類およびシーケンスタギングタスクにおいて、優れた性能を達成すること。

提案手法

• 複数のソース言語にわたる言語に依存しない表現を学ぶために、敵対的ネットワークを用いる。
• ターゲット言語との類似度に基づき、個々のソース言語からの寄与を動的に選択・重み付けする混合専門家アーキテクチャを採用する。
• インスタンスレベルで言語に依存しない特徴と言語に特有の特徴を統合することで、表現学習を向上させる。
• 教師なし多言語埋め込みを活用することでゼロリソース動作を実現し、平行文書やアノテート済みターゲット例の必要性を排除する。
• 共有特徴と言語特有特徴の両方の学習を最適化する統合的目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 複数の下流NLPタスクをサポートするため、共有エンコーダとタスク固有のヘッドを用いる。

実験結果

リサーチクエスチョン

• RQ1 多言語転移学習の文脈において、複数のソース言語間で何を共有すべきかを効果的に学ぶにはどうすればよいか？
• RQ2 言語に依存しない特徴と言語に特有の特徴を、どのように統合的に最適化することでゼロリソース転移を向上させられるか？
• RQ3 混合専門家メカニズムは、与えられたターゲット言語に対して、最も関連性の高いソース言語を動的に特定し活用できるか？
• RQ4 ラベル付きターゲットデータやクロスリンガルリソースが一切存在しない状況下で、モデルの性能はいかほどか？
• RQ5 敵対的訓練と動的専門家選択メカニズムの組み合わせが、多言語NLPのパフォーマンスにどのような影響を与えるか？

主な発見

• 本モデルは、複数のテキスト分類およびシーケンスタギングベンチマークで、先行する最先端手法を大きく上回る性能を達成している。
• 言語に依存しない特徴と言語に特有の特徴の統合により、低リソース環境下でもより強固で柔軟性のある表現が得られる。
• 混合専門家モジュールは、各ターゲット言語インスタンスに対して、最も関連性の高いソース言語を効果的に特定・優先している。
• 本モデルは、ラベル付きターゲットデータやクロスリンガルリソースが一切不要なゼロリソース設定でも正常に動作している。
• 大規模産業用データセットにおいても強力な一般化性能を示しており、実用的応用の有効性が確認された。
• 言語に依存しない特徴学習のための敵対的訓練により、平行文の必要がない状況でも、クロスリンガル整合性が向上した。