[論文レビュー] BilBOWA: Fast Bilingual Distributed Representations without Word Alignments

Stephan Gouws, Yoshua Bengio+1 more|arXiv (Cornell University)|Oct 9, 2014

Topic Modeling参考文献 23被引用数 314

ひとこと要約

BilBOWA は、単語レベルのアライメントや並列辞書を必要とせずに、双方向語彙表現を学習する高速でスケーラブルな手法である。単語レベルのアライメントや並列辞書を必要とせず、文単位の並列データのみを用いて、新しいサンプリングされたクロスリンガル・バッグ・オブ・ワーズ目的関数を用いて単語語彙表現を学習する。これにより、文書分類および語彙翻訳タスクにおいて、先行手法と比較して最大3桁の速度向上を達成し、最先端の性能を発揮する。

ABSTRACT

We introduce BilBOWA (Bilingual Bag-of-Words without Alignments), a simple and computationally-efficient model for learning bilingual distributed representations of words which can scale to large monolingual datasets and does not require word-aligned parallel training data. Instead it trains directly on monolingual data and extracts a bilingual signal from a smaller set of raw-text sentence-aligned data. This is achieved using a novel sampled bag-of-words cross-lingual objective, which is used to regularize two noise-contrastive language models for efficient cross-lingual feature learning. We show that bilingual embeddings learned using the proposed model outperform state-of-the-art methods on a cross-lingual document classification task as well as a lexical translation task on WMT11 data.

研究の動機と目的

• 単語レベルの並列データに依存しない、スケーラブルで効率的な双方向分散語彙表現の学習手法を開発すること。
• 単語レベルの並列データに依存せず、単語語彙表現を大量の単語語彙コーパス上で大規模に学習しながら、文単位の並列データのみを用いて双方向語彙表現の整合性を維持すること。
• 文書分類や語彙翻訳などの下流タスクにおける双方向語彙転移性能を向上させること。
• 従来の手法が高価な単語アライメントや大規模な並列コーパスを必要とするのと比較して、学習時間を顕著に短縮すること。
• 現在の双方向語彙表現モデルが遅すぎたり、データ制約が厳しすぎる場合の実用的で効率的な代替手段を提供すること。

提案手法

• モデルは、単語語彙コーパス上で、ソース言語およびターゲット言語のための別個のノイズ対比言語モデルを訓練し、標準的なスキップグラムの方法で語彙表現を学習する。
• 文単位の並列文のみを用いて、単語語彙表現を正しくアライメントするための、新しいサンプリングされたクロスリンガル損失関数（BilBOWA損失）を導入する。
• BilBOWA損失は、文のペアのバッグ・オブ・ワーズ表現を対象とし、各文から単語をサンプリングして、それらの語彙表現間のL2距離を最小化する。
• 直接的に単語レベルのアライメントを避ける代わりに、文単位の共起統計を用いて、単語語彙モデルの共同学習を正則化する。
• 勾配クリッピングを用いた非同期的確率的勾配降下法を用いて、語彙表現の品質を損なわせずに学習を高速化する。
• 学習文の並列サンプリングにより、特に頻出語彙の文脈で収束性と精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 単語レベルのアライメントや並列辞書を必要とせずに、双方向語彙表現を効果的に学習できるか？
• RQ2 少量の文単位の並列データのみを用いても、大規模な単語語彙コーパスにスケーラブルに適用可能なクロスリンガル目的関数を設計できるか？
• RQ3 サンプリングされたバッグ・オブ・ワーズベースのクロスリンガル損失は、精度と学習速度の両面で従来手法を上回るか？
• RQ4 文単位の並列データのみを用いて、単語語彙表現を効果的に言語間でアライメントできるか？
• RQ5 単語レベルのアライメントや学習用辞書が存在しない状況でも、学習時間を顕著に短縮しつつ、最先端の性能を達成できるか？

主な発見

• BilBOWA は、英語-ドイツ語のクロスリンガル文書分類タスクにおいて、先行手法を上回る最先端の性能を達成した。
• 英語-スペイン語の語彙翻訳タスクでは、トップ1の正確度が6パーセンテージポイント（39％）上昇し、トップ5の正確度が9パーセンテージポイント（44％）上昇した。
• 学習時間を数分から数時間にまで短縮し、従来の手法が数日を要するのと比較して最大3桁の高速化を達成した。
• 非同期学習と勾配クリッピングの併用により、語彙表現の品質を損なわず、高速な収束が実現した。
• 並列サンプリングにより、特に頻出語彙の文脈で精度が顕著に向上し、単語語彙表現およびクロスリンガル表現学習の両方が向上した。
• 単語レベルのアライメントや学習用辞書が存在しないにもかかわらず、言語間で良好な一般化性能を示し、微細な翻訳同等性学習を達成した。