[論文レビュー] Learning Semantic Representations for the Phrase Translation Model

Jianfeng Gao, Xiaodong He+2 more|arXiv (Cornell University)|Nov 28, 2013

Natural Language Processing Techniques参考文献 48被引用数 28

ひとこと要約

本論文では、多層ニューラルネットワークを用いて、元語と対象語のフレーズを低次元の潜在的意味空間に投影する意味ベースのフレーズ翻訳モデルを提案する。翻訳スコアは、ベクトル表現間の距離によって決定される。英仏および独英翻訳タスクにおいて評価された結果、翻訳品質のエンドツーエンド最適化により、文法的機械翻訳システムが0.7–1.0 BLEUポイント向上した。

ABSTRACT

This paper presents a novel semantic-based phrase translation model. A pair of source and target phrases are projected into continuous-valued vector representations in a low-dimensional latent semantic space, where their translation score is computed by the distance between the pair in this new space. The projection is performed by a multi-layer neural network whose weights are learned on parallel training data. The learning is aimed to directly optimize the quality of end-to-end machine translation results. Experimental evaluation has been performed on two Europarl translation tasks, English-French and German-English. The results show that the new semantic-based phrase translation model significantly improves the performance of a state-of-the-art phrase-based statistical machine translation sys-tem, leading to a gain of 0.7-1.0 BLEU points.

研究の動機と目的

• 意味表現を統合することで、フレーズベースの統計的機械翻訳を向上させること。
• 低次元空間における翻訳類似度を反映する、フレーズペアの連続的ベクトル表現を学習すること。
• 並列コーパス上でエンドツーエンド学習を実施し、翻訳パフォーマンスを直接最適化すること。
• 神経ネットワークを用いた意味的類似度のモデリングにより、スパarsなフレーズテーブル特徴量への依存度を低減すること。
• 言語的意味を捉える意味的なフレーズ埋め込みを学習することで、翻訳品質を向上させること。

提案手法

• 多層ニューラルネットワークを用いて、元語と対象語のフレーズを共有される低次元連続的ベクトル空間に投影する。
• 並列文ペア上でネットワークを学習し、対応するフレーズペア間の距離を最小化することで翻訳誤差を最適化する。
• 埋め込みフレーズベクトル間のL2距離を、フレーズ翻訳モデルにおける翻訳スコアとして使用する。
• 並列学習データ上でバックプロパゲーションを用いて、単語およびフレーズの埋め込みを同時に学習する。
• 学習された意味表現を、既存のフレーズベースの機械翻訳システムに統合する。
• BLEUスコアで測定される翻訳品質を直接最適化するエンドツーエンド学習により、モデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 フレーズペアの密度的な意味表現を学習することで、フレーズベースの機械翻訳パフォーマンスが向上するか？
• RQ2 潜在的意味空間におけるベクトル空間距離を用いたフレーズ翻訳スコアのモデリングは、どの程度有効か？
• RQ3 ニューラルネットワークベースのフレーズ埋め込みのエンドツーエンド学習は、従来のフレーズテーブル手法よりも優れた翻訳品質をもたらすか？
• RQ4 意味表現は、大規模でスパースなフレーズテーブルの必要性をどの程度低減できるか？
• RQ5 学習された埋め込みは、英仏および独英といった異なる言語ペアにどのように一般化するか？

主な発見

• 提案された意味ベースのフレーズ翻訳モデルは、最先端のフレーズベースの統計的機械翻訳システムを0.7–1.0 BLEUポイント上回った。
• 共有される潜在空間における意味的なフレーズ表現の学習により、翻訳品質が顕著に向上した。
• フレーズ埋め込みにニューラルネットワークの投影を用いることで、従来のフレーズテーブル手法に比べ、より良いアライメントと翻訳スコアが得られた。
• 英仏および独英という2つの異なる言語ペアにおいて、改善効果が一貫して得られた。
• BLEUスコアを直接最適化するエンドツーエンド学習により、より効果的で意味的にインフォームドなフレーズ翻訳が実現した。
• 結果から、深層ニューラルネットワークを用いて学習された意味表現は、統計的機械翻訳システムを効果的に強化できることを示した。