[論文レビュー] Learning Bilingual Word Representations by Marginalizing Alignments

Tomáš Kočiský, Karl Moritz Hermann+1 more|arXiv (Cornell University)|May 5, 2014

Topic Modeling参考文献 25被引用数 42

ひとこと要約

本稿では、硬いアライメントに依存せずにアライメント仮説の周辺化を行うことで、二語語彙表現とアライメントを同時に学習する確率的モデル、DWA（Distributed Word Alignment）を提案する。この手法は、確率的文脈モデリングによりより意味的に豊かな表現を学習することで、文書間翻訳分類タスクで最先端の性能を達成する。

ABSTRACT

We present a probabilistic model that simultaneously learns alignments and distributed representations for bilingual data. By marginalizing over word alignments the model captures a larger semantic context than prior work relying on hard alignments. The advantage of this approach is demonstrated in a cross-lingual classification task, where we outperform the prior published state of the art.

研究の動機と目的

• 二語語彙表現とアライメントの両方を統合的に学習する確率的フレームワークを構築すること。
• 硬いアライメントを避けて、アライメントの可能性を周辺化することで、二語語彙表現学習における意味的文脈の捉え方を向上させること。
• 特に文書分類を含む文書間転送タスクにおけるこれらの表現の有効性を実証すること。
• 機械翻訳などの上位レベルのNLPシステムへの統合を可能にする、二語埋め込みの確率的基盤を提供すること。
• 標準ベンチマークタスク上で、既存の最先端手法と比較して本モデルの性能を評価すること。

提案手法

• FastAlignの対数線形アライメントフレームワークと対数双線形言語モデルを組み合わせ、語表現とアライメント確率を同時に最適化する。
• すべての可能なアライメントの周辺化を可能にする確率的定式化を採用することで、硬いアライメント手法よりも広い意味的文脈を捉えることができる。
• エネルギーに基づくモデルを用いて語表現を学習し、文脈ベクトルを変換・統合して次の語を予測する。パラメータはエンドツーエンドで最適化される。
• アライメントされた語表現から翻訳確率を計算し、文書内の語ベクトルを平均化することで文書間翻訳投影を可能にする。
• 平均化パーセプトロン分類器を用いて、投影された表現を用いた文書間翻訳分類の性能を評価する。
• t-SNE可視化を用いて、学習された語表現の意味的妥当性を分析する。

実験結果

リサーチクエスチョン

• RQ1 アライメントの周辺化は、硬いアライメント手法と比較して、より堅牢で意味的に豊かな二語語彙表現をもたらすか？
• RQ2 アライメントと表現の統合的学習は、文書分類のような文書間転送タスクの性能を向上させるか？
• RQ3 特に言語間での語の類似性を捉える能力において、学習された表現は、先行手法のものと比較して意味的に妥当性があるか？
• RQ4 モノリンガル言語モデルや追加の学習データに依存せずに、最先端の性能を達成できるか？
• RQ5 文脈サイズ（k）の影響は、学習された表現の質および下流の分類精度にどのような影響を及けるか？

主な発見

• 英語で学習しドイツ語でテストした場合、RCV1/2コーパスで83.1％のテスト精度を達成し、HermannとBlunsom（2014b）の先行研究を上回った。
• ドイツ語で学習し英語でテストした場合、76.0％の精度を達成し、以前の最先端手法を上回り、優れた文書間一般化性能を示した。
• 同じ埋め込み次元数と学習データを用いた場合、本モデルは既存の最高性能手法と同等の性能を示し、高い効率性と表現品質を示した。
• t-SNE可視化では、『chair』と『ratspräsidentschaft』のような意味的に類似した語が、直接的なアライメントがなくても共有埋め込み空間で近接して配置されていることが確認された。
• 追加のモノリンガル言語モデルや文脈情報が不要であるにもかかわらず、アライメントと表現の統合最適化を通じて意味的学習が内在的に可能であることが示された。
• DWAフレームワーク内での分散版FastAlignの学習は、元のFastAlignと同等の性能を示し、学習された二語埋め込み表現の有効性を裏付けた。