[論文レビュー] An Autoencoder Approach to Learning Bilingual Word Representations

Sarath Chandar A P, Stanislas Lauly+5 more|arXiv (Cornell University)|Feb 6, 2014

Topic Modeling参考文献 28被引用数 252

ひとこと要約

本論文では、単語レベルのアライメントを必要とせず、文レベルのアライメントされた並列コーパスのみを用いて、言語間で整合された語表現を学習する二言語自動エンコーダー・モデルを提案する。文の袋（bag-of-words）再構成を、相関最大化正則化項を用いて訓練することで、クロスリンガルテキスト分類において最先端の性能を達成し、1,000件のラベル付き例でのEN→DEタスクで、先行手法を最大14パcentポイント上回った。

ABSTRACT

Cross-language learning allows us to use training data from one language to build models for a different language. Many approaches to bilingual learning require that we have word-level alignment of sentences from parallel corpora. In this work we explore the use of autoencoder-based methods for cross-language learning of vectorial word representations that are aligned between two languages, while not relying on word-level alignments. We show that by simply learning to reconstruct the bag-of-words representations of aligned sentences, within and between languages, we can in fact learn high-quality representations and do without word alignments. Since training autoencoders on word observations presents certain computational issues, we propose and compare different variations adapted to this setting. We also propose an explicit correlation maximizing regularizer that leads to significant improvement in the performance. We empirically investigate the success of our approach on the problem of cross-language test classification, where a classifier trained on a given language (e.g., English) must learn to generalize to a different language (e.g., German). These experiments demonstrate that our approaches are competitive with the state-of-the-art, achieving up to 10-14 percentage point improvements over the best reported results on this task.

研究の動機と目的

• 並列コーパスからの単語レベルのアライメントに依存しない二言語語表現の学習手法を開発すること。
• リソースが乏しい言語のNLP課題に対処し、リソース豊富な言語からリソースが乏しい言語への転移学習を可能にすること。
• 文レベルでのアライメントされた並列データのみを用いて、テキスト分類におけるクロスリンガル転移性能を向上させること。
• 最小限の監視情報で、自動エンコーダーによる袋（bag-of-words）入力の学習によって、意味的な二言語表現が学習可能であることを示すこと。

提案手法

• モデルは、二言語の並列コーパスからの文ペアの袋（bag-of-words）表現を再構成するための深層自動エンコーダーを用いる。
• エンコーダーは両言語に対して共通のD次元の潜在表現を学習し、言語間のアライメントを可能にする。
• 訓練中に言語間の語表現を明示的にアライメントするため、新たな相関最大化正則化項を導入する。
• モデルは文ペアのミニバッチで訓練され、各文は単語頻度のヒストグラムとして表現される。
• 二つの変種を検討した：BAE-tr（個々の文で訓練）およびBAE-cr（統合された文ペアのミニバッチで訓練）、正則化項の有無を含む。
• 機械翻訳システムや単語レベルのアライメントツールに依存せず、パイプラインを簡素化する。

実験結果

リサーチクエスチョン

• RQ1 並列コーパスにおける単語レベルのアライメントがなくても、意味的な二言語語表現を学習できるか？
• RQ2 単語レベルのアライメントに依存する最先端手法と比較して、自動エンコーダーに基づくアプローチの性能はいかがなっているか？
• RQ3 相関に基づく正則化項が、学習された二言語語表現の質に与える影響は何か？
• RQ4 ターゲット言語で非常に限られたラベル付きデータがある場合でも、モデルは一般化できるか？
• RQ5 より粗い文レベルのアライメント（例：1バッチあたり50文）でも、高品質な表現が得られるか？

主な発見

• BAE-cr/corrモデルは、1,000件のラベル付き例でのEN→DEクロスリンガルテキスト分類タスクで91.8%の精度を達成し、先行する最先端手法を10パーセントポイント以上上回った。
• 相関正則化項が性能を顕著に向上させ、すべての設定およびデータサイズでBAE-cr/corrが最も優れた性能を示した。
• 粗いアライメント（例：1バッチあたり50文）でも、BAE-cr/corrモデルは強力な性能を維持し、EN→DEタスクで90.2%の精度を達成した。これは、アライメントの粒度に頑健であることを示している。
• 強力なMTベースライン（68.1%の精度）および多数派クラスベースライン（46.8%の精度）を上回ったため、効果的なクロスリンガル転移が実現された。
• 低データ環境下でも高い一般化性能を示し、100件の例でのEN→DEタスクで80.2%の精度を達成した。これは、高品質な学習済み表現であることを示唆している。
• BAE-trバージョンは、単語レベルのアライメントに依存する最先端手法（Klementiev et al., 2012）と同等の性能を示したが、それらに依存していない。