[論文レビュー] Neural Task Representations as Weak Supervision for Model Agnostic Cross-Lingual Transfer

Sunil Kumar Jauhar, Michael Gamon+1 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 33被引用数 4

ひとこと要約

この論文は、ニューラルタスク表現を弱い監視信号として用いるモデルに依存しないフレームワークを提案する。ラベルなし並列データとタスク表現上の損失関数のみを必要とし、ドイツ語、フランス語、日本語における感情分類で最先端または競争力のある性能を達成する。直接の監視なしに意味的に意味のあるクロスリンガル表現を学習する。

ABSTRACT

Natural language processing is heavily Anglo-centric, while the demand for models that work in languages other than English is greater than ever. Yet, the task of transferring a model from one language to another can be expensive in terms of annotation costs, engineering time and effort. In this paper, we present a general framework for easily and effectively transferring neural models from English to other languages. The framework, which relies on task representations as a form of weak supervision, is model and task agnostic, meaning that many existing neural architectures can be ported to other languages with minimal effort. The only requirement is unlabeled parallel data, and a loss defined over task representations. We evaluate our framework by transferring an English sentiment classifier to three different languages. On a battery of tests, we show that our models outperform a number of strong baselines and rival state-of-the-art results, which rely on more complex approaches and significantly more resources and data. Additionally, we find that the framework proposed in this paper is able to capture semantically rich and meaningful representations across languages, despite the lack of direct supervision.

研究の動機と目的

• NLPにおける非英語言語のアノテーション付きデータの高コストと不足問題に対処すること。
• 最小限の工学的アプローチとデータで、事前学習済みの英語ニューラルモデルを低リソース言語に効果的に転送できること。
• タスク表現が直接的なアライメントなしに、クロスリンガル意味を学習する弱い監視信号として機能できるかどうかを検証すること。
• 並列単言語コーパスのみに依存する、一般化可能なアーキテクチャおよびタスクに依存しない転送フレームワークを開発すること。
• 明示的な監視なしに、意味的に意味のあるクロスリンガル表現を学習できるかどうかを評価すること。

提案手法

• ラベルなし並列データにおける中間タスク表現（予測層の直前層）を弱い監視信号として活用する。
• これらのタスク表現の上に損失関数を定義し、言語間での意味的コンテンツを整合させる。
• 共通の言語に依存しないニューラルアーキテクチャを介して、英語のタスク表現をターゲット言語の埋め込みに射影する。
• 言語固有の埋め込みを維持しながら、より上位のネットワーク層を共有することで、タスク固有の意味を保持する。
• ラベル付き英語データとラベルなし並列データの組み合わせを用いて、エンドツーエンドでモデルを訓練する。
• 埋め込み間のコサイン類似度を用いて、クロスリンガル意味的転送を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの英語モデルからのタスク表現が、クロスリンガル転送のための効果的な弱い監視信号として機能するか。
• RQ2 直接的な監視や並列アノテーションなしに、どの程度モデルが意味的に意味のあるクロスリンガル表現を学習できるか。
• RQ3 本フレームワークは、低リソース言語におけるクロスリンガル転送で、強力なベースラインや最先端手法を上回るか。
• RQ4 機械翻訳システムと組み合わせた場合、本フレームワークは依然として有効か。
• RQ5 モデルのサイズやアーキテクチャは、この設定下でのクロスリンガル転送性能にどのように影響するか。

主な発見

• ドイツ語、フランス語、日本語における感情分類において、同じ並列データで訓練されたMTベースのシステムを含む、複数の強力なベースラインを上回る性能を達成する。
• 1つのターゲット言語（ドイツ語）において、より単純な手法と少ないリソースで、以前の最先端結果と同等またはそれを上回る性能を達成する。
• 埋め込み類似度の観点から、英語の肯定的／否定的センチメント語が、フランス語の類似意味語に近接していることから、意味的に豊かなクロスリンガル表現を学習していることが裏付けられる。
• 大きなモデルは、タスク表現からの弱い監視信号のノイズ増加と過学習の影響により、性能が低下する傾向にある。
• 高品質なMTシステムや二国語辞書がなくても、並列コーパスとタスク表現上の損失関数のみに依存することで、フレームワークは有効である。
• 言語をまたいで一般化性が高く、ドイツ語、フランス語、日本語における同言語検索タスクでそれぞれ92%および90%の精度を達成する。