[論文レビュー] Learning Crosslingual Word Embeddings without Bilingual Corpora

Long Duong, Hiroshi Kanayama+3 more|arXiv (Cornell University)|Jun 30, 2016

Natural Language Processing Techniques参考文献 23被引用数 18

ひとこと要約

本論文は、並列文書や類似文書を必要とせず、単語彙と高カバレッジの二か国語辞書のみを用いて、クロスリンガル単語埋め込みを学習する新規手法を提案する。文脈に基づいて翻訳を選択し、複数の辞書エントリを用いて多義語を明示的にモデル化するEMスタイルのアルゴリズムを採用することで、二か国語語彙誘導（BLI）タスクで最先端の性能を達成し、単語類似度およびクロスリンガルドキュメント分類タスクでも競争力のある結果を示す。

ABSTRACT

Crosslingual word embeddings represent lexical items from different languages in the same vector space, enabling transfer of NLP tools. However, previous attempts had expensive resource requirements, difficulty incorporating monolingual data or were unable to handle polysemy. We address these drawbacks in our method which takes advantage of a high coverage dictionary in an EM style training algorithm over monolingual corpora in two languages. Our model achieves state-of-the-art performance on bilingual lexicon induction task exceeding models using large bilingual corpora, and competitive results on the monolingual word similarity and cross-lingual document classification task.

研究の動機と目的

• 並列語彙や類似語彙に依存する従来のクロスリンガル単語埋め込み手法の高いリソース要件とスケーラビリティの限界を解消すること。
• トレーニング中に各語の複数の翻訳オプションをモデル化することで、クロスリンガル埋め込みにおける多義語の課題を克服すること。
• 単語彙と高カバレッジの二か国語辞書のみを用いて、低リソース言語のための効果的なクロスリンガル転送を可能にすること。
• ソース言語とターゲット言語の埋め込み行列を正則化に基づいて組み合わせる手法を導入することで、単語類似度およびクロスリンガル性能の両方を向上させること。
• 提案手法が二か国語語彙誘導（BLI）で最先端の結果を達成するとともに、単語類似度およびクロスリンガル下流タスクでも競争力のある性能を示すことを実証すること。

提案手法

• 二か国語辞書（Panlex）を唯一の二か国語信号源として用い、並列文を必要とせずにクロスリンガル対応関係を学習可能にする。
• 各語に対して文脈的に最も適切な翻訳を選択するEMスタイルのトレーニング手順を適用し、複数の翻訳オプションを用いて多義語を明示的にモデル化する。
• 連続的袋目（CBOW）モデルを拡張し、ソース言語およびターゲット言語の両方の単語埋め込みを、単語彙データのみを用いて同時に学習する。
• トレーニング中にソース言語とターゲット言語の埋め込み行列を組み合わせる正則化技術を導入し、可学習ハイパーパrameter δ を用いて両者をバランスさせる。
• 最終的な埋め込み行列における複数の組み合わせ戦略（補間、連結、正則化）を評価し、単語類似度およびクロスリンガルタスクの両方で最適な性能を得る。
• ターゲット語とその翻訳を同時に予測する共同学習目的関数を用い、言語間で整合性のある表現を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 並列文書や類似文書を一切用いずに、クロスリンガル単語埋め込みを効果的に学習することは可能か？
• RQ2 単語彙データと辞書のみを用いて、多義語を適切にモデル化する方法は何か？
• RQ3 異なる埋め込み組み合わせ戦略が、単語類似度およびクロスリンガル性能に与える影響は何か？
• RQ4 大規模な並列語彙（bitext）を必要とせず、高カバレッジの二か国語辞書を効果的に活用して、二か国語語彙誘導（BLI）タスクで最先端の結果を達成できるか？
• RQ5 提案された正則化に基づくソース・ターゲット埋め込みの組み合わせ法は、単語類似度およびクロスリンガル評価タスクの両方で性能向上をもたらすか？

主な発見

• 提案手法は、英語-イタリア語ベンチマークで78.9%のrecall@1および90.5%のrecall@5を達成し、二か国語語彙誘導（BLI）タスクで最先端の性能を示した。
• 正則化を用いてターゲット言語の埋め込みを組み合わせた場合、単語類似度（WS-353）タスクで73.0のスコアを達成し、従来手法を顕著に上回った。
• クロスリンガルドキュメント分類（CLDC）タスクでは、平均81.5%の正答率を達成し、大多数のベースラインを上回り、Europarlなどの大規模並列語彙を用いたモデルと同等の性能を示した。
• δ=0.01で、ターゲット言語の埋め込み（U）を出力に組み込んだ正則化ベースの組み合わせ法が、すべての評価タスクで最良の全体的性能を達成した。
• 提案された埋め込み組み合わせ技術は汎用的であり、クロスリンガルタスクにとどまらず、単語類似度タスクの単語埋め込み性能向上にも寄与し、より広範な応用可能性を示した。
• 大規模な並列語彙を必要とせず、CLDCタスクで競争力ある結果を達成したため、このようなデータが入手困難な低リソース言語ペアに適した手法であることが示された。