[論文レビュー] Towards cross-lingual distributed representations without parallel text trained with adversarial autoencoders

Antonio Valerio Miceli Barone|arXiv (Cornell University)|Aug 9, 2016

Topic Modeling参考文献 29被引用数 10

ひとこと要約

この論文は、並列テキストを一切使用せずに、敵対的オートエノードアーキテクチャを用いて単語埋め込みの多言語間マッピングを学習する手法を提案する。このアプローチは、言語間の共有される意味的構造を活用し、生成器が元言語の埋め込みを目的言語に似せたベクトルにマップするのを学習する。同時に、識別器が分布の類似性を強制することで、明示的なアライメントがなくても部分的な意味的転送が達成される。

ABSTRACT

Current approaches to learning vector representations of text that are compatible between different languages usually require some amount of parallel text, aligned at word, sentence or at least document level. We hypothesize however, that different natural languages share enough semantic structure that it should be possible, in principle, to learn compatible vector representations just by analyzing the monolingual distribution of words. In order to evaluate this hypothesis, we propose a scheme to map word vectors trained on a source language to vectors semantically compatible with word vectors trained on a target language using an adversarial autoencoder. We present preliminary qualitative results and discuss possible future developments of this technique, such as applications to cross-lingual sentence representations.

研究の動機と目的

• 並列テキストやアライメントの信号が一切ない状況でも、多言語間の意味的適合性が達成可能かどうかを調査すること。
• 異なる言語が共通の意味的構造を共有しており、分布的同型性を用いてその構造を活用可能かどうかを検証すること。
• 並列データに依存しない敵対的オートエノードアーキテクチャを用いて、ある言語の単語埋め込みを別の言語にマップする手法を開発すること。
• 明示的な教師信号なしに、このようなモデルが言語間で意味的な関係を的確に捉えることができるかどうかを評価すること。
• NLP分野における多言語表現学習のための分布マッチング技術（例：GAN）の実用可能性を検討すること。

提案手法

• 生成的敵対的ネットワーク（GAN）フレームワークを用い、生成器が元言語の単語埋め込みを目的言語に似せたベクトルにマップする。
• 識別器は、実際の目的言語の埋め込みと生成された埋め込みを区別するように学習され、生成器が意味的に整合性のある出力を生成するよう促される。
• 生成器は識別器をだませるように adversarial loss で学習され、識別器は実際のサンプルと生成されたサンプルを正しく分類するように学習される。
• トレーニング中に単語埋め込みの頻度に応じたサンプリングを実施し、頻度の高い語に偏らないようにする。これは、word2vecのサブサンプリング戦略に類似している。
• エンコーダ・デコーダ構造を採用し、共有された潜在空間を用いる。トレーニングにはAdam最適化手法を用い、生成器と識別器で別々の学習率を設定する。
• 本手法は、英語→イタリア語およびドイツ語→英語のマッピングに対して評価され、単語埋め込みはすべて単語コーパスから事前学習済みである。

実験結果

リサーチクエスチョン

• RQ1 並列テキストやアライメント信号が一切ない状況でも、多言語間の単語ベクトルの適合性を達成できるか？
• RQ2 分布的同型性のみを用いた場合、どの程度言語間で意味的類似性が保たれるか？
• RQ3 敵対的オートエノードアーキテクチャが、並列教師信号なしに単語埋め込み空間間のマッピングを効果的に学習できるか？
• RQ4 生成されたマッピングが、真の翻訳語や意味的に関連する語をどの程度回復できるか？
• RQ5 モデルの性能はトレーニングデータ量に比例して向上するか？また、アーキテクチャやハイパーパrameterの最適化によって改善可能か？

主な発見

• モデルは英語の単語埋め込みをイタリア語の埋め込みにマップするが、その結果、最近傍の単語に「computer」の正しい訳語「computer」が頻繁に現れる。
• 正確な訳語が回復されない場合でも、最近傍の単語は意味的に関連する語（例：「rain」→「gelata」や「piovosa」）となることが多く、意味的転送が起こっていることが示唆される。
• 「France」のような固有名詞では、モデルが頻繁に失敗し、関係のない語や無意味な語（例：「Radiomobile」や「UNUCI」）を出力する。これは固有名処理における課題を示している。
• ドイツ語→英語マッピングにおいても部分的な成功が得られたが、最小のトレーニングデータサイズでのみベースライン性能を上回った。これは一般化性能が限定的であることを示唆している。
• 定性的な結果から、モデルは一部の意味的構造を捉えているが、競合手法に比べて性能に劣っている。これはハイパーパrameter やアーキテクチャの制限による可能性がある。
• 本手法は、NLP分野におけるGANを用いた分布マッチングの概念的実証に成功し、今後の無教師多言語表現学習分野への道筋を示している。