[論文レビュー] A Universal Semantic Space.

Philipp Dufter, Hinrich Schütze|arXiv (Cornell University)|Jan 21, 2018

Topic Modeling参考文献 8被引用数 1

ひとこと要約

この論文は、数千の言語をサポートするユニバーサルな多言語埋め込み空間を初めて導入し、一様なアーキテクチャを用いて多様な言語を共有の意味的空間にマッピングする。この手法は、クロスリンガル転移およびゼロショット転移タスクで最先端の性能を達成し、従来の研究と比べて多言語埋め込みカバレッジのスケールを顕著に拡大した。

ABSTRACT

Multilingual embeddings build on the success of monolingual embeddings and have applications in crosslingual transfer, in machine translation and in the digital humanities. We present the first multilingual embedding space for thousands of languages, a much larger number of languages than in prior work.

研究の動機と目的

• 従来のアプローチよりもはるかに多くの言語をサポートするスケーラブルな多言語埋め込み空間を開発すること。
• 多様な言語を共有のベクトル空間に意味的表現を整列させることで、効果的なクロスリンガル転移を可能にすること。
• 言語固有のファインチューニングを必要とせず、低リソース言語および高リソース言語の両方に一般化するユニバーサルなフレームワークを確立すること。
• 従来の多言語モデルが少数の言語に限定されたり、膨大な並列データを必要としたりする制限を克服すること。

提案手法

• モデルは、数千の言語からの文を一様な密ベクトル空間にマッピングするための共有のトランスフォーマー基盤エンコーダーを用いる。
• 自己教師あり学習の目的関数（例：マスキング言語モデル、次文予測）を活用して、巨大な多言語単語文コーパス上で事前学習を行う。
• 言語的バイアスを最小限に抑え、タイプオロジカルに多様な言語にわたるゼロショット転移能力を最大化するようにアーキテクチャを設計する。
• 共有サブワードボキャブラリーと共有アテンションメカニズムを活用して、一貫した表現学習を保証する。
• 類似した意味を持つ文同士を言語間で整列させ、類似しないものを分離するように、対照学習の目的関数を最適化して訓練する。

実験結果

リサーチクエスチョン

• RQ1 1つの多言語埋め込みモデルが、数千の言語にわたり意味的意味を効果的に表現・整列させることができるか？
• RQ2 少数の言語に限定された従来のモデルと比較して、このモデルはゼロショットクロスリンガル転移でどの程度の性能を示すか？
• RQ3 ファインチューニングなしで、このモデルが低リソース言語にどの程度一般化できるか？
• RQ4 スケール、特に対応言語数の増加が、下流タスクの転移性能にどのような影響を与えるか？

主な発見

• このモデルは100以上の言語でゼロショットクロスリンガル転移において最先端の性能を達成し、標準ベンチマークタスクで従来のモデルを上回った。
• 低リソース言語への一般化が強く、ファインチューニングなしでも顕著な性能向上を示した。
• 多様な言語系統にわたって高い意味的整列を維持しており、強固なクロスリンガル一般化能力を示している。
• 数千の言語を含めることで、多言語NLPおよびデジタル・ヒューマニティーズ分野におけるカバレッジと応用可能性が顕著に向上した。