[論文レビュー] Baselines and test data for cross-lingual inference

Żeljko Agić, Natalie Schluter|arXiv (Cornell University)|Apr 18, 2017

Topic Modeling参考文献 24被引用数 8

ひとこと要約

本論文は、アラビア語、フランス語、ロシア語、スペイン語を含む4言語への拡張を伴う、最初の多言語 NLI テストデータおよびベースラインを紹介する。SNLIベンチマークを英語以外の言語へ拡張し、2つのアプローチ（多言語単語埋め込みと機械翻訳）を評価した結果、翻訳ベースの適応により最高で75.5％の平均正答率を達成した。これにより、低リソース言語における NLI の今後の研究が可能になる。

ABSTRACT

The recent years have seen a revival of interest in textual entailment, sparked by i) the emergence of powerful deep neural network learners for natural language processing and ii) the timely development of large-scale evaluation datasets such as SNLI. Recast as natural language inference, the problem now amounts to detecting the relation between pairs of statements: they either contradict or entail one another, or they are mutually neutral. Current research in natural language inference is effectively exclusive to English. In this paper, we propose to advance the research in SNLI-style natural language inference toward multilingual evaluation. To that end, we provide test data for four major languages: Arabic, French, Spanish, and Russian. We experiment with a set of baselines. Our systems are based on cross-lingual word embeddings and machine translation. While our best system scores an average accuracy of just over 75%, we focus largely on enabling further research in multilingual inference.

研究の動機と目的

• 英語以外の言語へ拡張された SNLI スタイルの自然言語推論ベンチマークを提供し、多言語研究を支援すること。
• 低リソース言語の学習データ不足に対処するため、クロスリンガル NLI のための転移学習ベースラインを提案すること。
• 標準化されたクロスリンガル推論システムの評価を可能にするために、4つの主要言語で手作業でキュレートされたテストセットを構築すること。
• 多言語単語埋め込みと機械翻訳が、クロスリンガル NLI における転移手法としてどれほど有効であるかを評価すること。
• 今後の低リソース言語 NLI の研究を支援するため、オープンアクセスの多言語テストデータおよび埋め込みを提供すること。

提案手法

• 著者らは、英語 SNLI テストセットの1,332組の前提文・仮説ペアを、アラビア語、フランス語、ロシア語、スペイン語に手作業で翻訳することで、多言語テストデータを構築した。
• 主なクロスリンガル適応戦略として2つを評価した：(1) 翻訳行列マッピングにより訓練された多言語単語埋め込みの使用、(2) ニューラル機械翻訳システムを用いて、すべてのターゲット言語の入力を英語に翻訳する方法。
• ベースラインモデルは、ボーマンら（2015）の神経ネットワークアテンションベースのアーキテクチャを採用し、単語埋め込みに依存するもので、英語 SNLI の学習データに対して訓練された。
• 多言語単語埋め込みは、単語ベクトルを言語間で一致させるための二国語辞書を用いて、単語埋め込みの翻訳行列技術により生成された。
• 翻訳ベースのアプローチでは、ターゲット言語の文を英語に翻訳し、元の英語 NLI モデルを適用して、含意、矛盾、中立の関係を予測する。
• 性能評価は、全体の正答率と各ラベル（含意、矛盾、中立）ごとの F1 スコアを用い、言語および手法ごとの比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 多言語単語埋め込みは、アラビア語、フランス語、ロシア語、スペイン語のような低リソース言語へ、英語からの NLI 機能を効果的に転送できるか？
• RQ2 機械翻訳ベースの適応は、埋め込みベースの転送と比較して、クロスリンガル NLI においてどのように優れているか？
• RQ3 並列コーパスのサイズが、多言語埋め込みシステムのクロスリンガル NLI における性能に与える影響は何か？
• RQ4 自動翻訳されたテストセットは、手作業でキュレートされた多言語テストデータの代替として、クロスリンガル評価においてどれほど信頼できるか？
• RQ5 ソース言語の埋め込みの品質が、クロスリンガル NLI システムの性能に与える影響はどの程度か？

主な発見

• 翻訳ベースのアプローチを用いた最良のシステムが、4つのターゲット言語の平均で75.5％の正答率を達成した。
• ランダム初期化を用いた多言語埋め込みアプローチは平均59.6％の正答率を示し、逆行列法と比率法はそれぞれ58.1％と57.4％の正答率を記録した。
• 翻訳ベースの手法は、すべての埋め込みベースの手法を上回り、フランス語で68.73、スペイン語で66.98、アラビア語で64.17、ロシア語で60.61の F1 スコアを達成した。
• ランダム多言語埋め込みシステムは、含意の予測に強くバイアスを示し、矛盾や中立の予測と比較して F1 スコアが約9％高い値を示した。
• 学習曲線から、性能は約100万語の並列文に達する頃に安定することが示され、現在の多言語埋め込み手法にはデータの限界があると考えられる。
• 手作業でキュレートされたテストセットを自動翻訳版に置き換えると、平均して真の正答率が2.57％低く推定された。アラビア語では翻訳品質が低いため、-7％の大きな誤差が観察された。