[論文レビュー] Agreement-based Learning of Parallel Lexicons and Phrases from Non-Parallel Corpora

Chunyang Liu, Yang Liu+3 more|arXiv (Cornell University)|Jun 15, 2016

Natural Language Processing Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、非並列コーパスにおけるアライメント精度の向上を目的として、source-to-targetおよびtarget-to-sourceの潜在変数翻訳モデルを共同で学習するアグリーメントベースの学習フレームワークを提案する。Viterbi EMアルゴリズムを用いて双方向のフレーズおよび語のアライメントの整合性を強制することで、フレーズアライメントのF1スコア（70%以上）および機械翻訳のBLEUスコア（最大19.78）において顕著な向上を達成し、ノイズに強く、未知の語彙およびフレーズの学習にも効果的であることが示された。

ABSTRACT

We introduce an agreement-based approach to learning parallel lexicons and phrases from non-parallel corpora. The basic idea is to encourage two asymmetric latent-variable translation models (i.e., source-to-target and target-to-source) to agree on identifying latent phrase and word alignments. The agreement is defined at both word and phrase levels. We develop a Viterbi EM algorithm for jointly training the two unidirectional models efficiently. Experiments on the Chinese-English dataset show that agreement-based learning significantly improves both alignment and translation performance.

研究の動機と目的

• 非並列コーパスから並列語彙およびフレーズを学ぶ課題に取り組むこと。既存の手法は低精度およびノイズ感受性に問題を抱えている。
• 非対称なsource-to-targetおよびtarget-to-source翻訳モデル間のアグリーメントを活用することで、アライメントおよび翻訳性能を向上させること。
• ノイズデータに対して強い性能を発揮するコンセンサスに基づくトレーニング目的関数を用いて、フレーズおよび語レベルのアライメントを共同最適化すること。
• 初期のシード語彙を超えて、新たな未発見の語およびフレーズペアの発見を可能にすること。

提案手法

• 非並列な単語レベルのコーパスにおいて、フレーズおよび語のアライメントを共同でモデル化するコーパスレベルの潜在変数翻訳モデルを提案する。
• 双方向のフレーズおよび語のアライメントにおけるコンセンサスに基づいて、内側アグリーメントおよび外側アグリーメントの2つの損失関数を導入し、整合性を強制する。
• 期待最大化フレームワークにおける扱いにくい推論を近似するために、Viterbi EMアルゴリズムを用いて2つの非対称モデルを効率的にトレーニングする。
• 各アライメントされたフレーズペアに対して P(f|e;θ) = ∏ P(f|e;θ) で定義される対称的なフレーズ翻訳モデルを用い、パラメータをモデル間で共有する。
• EステップにおけるEMの過程で、Viterbiスタイルのデコードステップを適用して、最も確率の高いアライメント経路を推定し、効率的な共同最適化を可能にする。
• 小さなシード語彙から出発し、高い確率のフレーズおよび語のアライメントを同定することで、反復的に並列コーパスを拡張する。

実験結果

リサーチクエスチョン

• RQ1 双方向翻訳モデル間のアグリーメントを強制することで、非並列コーパスにおけるアライメント精度が向上するか？
• RQ2 ノイズデータに対する耐性という観点から、アグリーメントベースの学習は独立学習と比べてどのように異なるか？
• RQ3 アグリーメントベースの学習は、初期のシード語彙を超えて、どれほど新たな未発見の語およびフレーズペアを発見できるか？
• RQ4 フレーズおよび語の両方のアライメントでコンセンサスを取ることで、下流の機械翻訳タスクにおける性能が向上するか？

主な発見

• アグリーメントベースの学習は、テストセットで70%を超えるF1スコアを達成し、ノイズ下でも独立学習を顕著に上回る。
• アライメント評価において、内側アグリーメント（フレーズおよび語のアライメントのコンセンサス）が、外側アグリーメント（フレーズレベルのみのコンセンサス）を常に上回る性能を示した。
• 機械翻訳では、アグリーメントベースの学習がNIST 2005テストセットで19.78のBLEUスコアを達成し、より小さな並列コーパスを用いても独立学習を上回った。
• 表3に示す例（例：'jiaoyisuo shichang jiage zhishu' → 'exchange market price index'）から、初期のシード語彙に存在しない新しい語およびフレーズを効果的に学習したことが明らかになった。
• ノイズへの感受性が低減され、ソースおよびターゲット両側が汚染されても、従来の手法が急激に性能を落とすのとは異なり、高い性能を維持した。
• アグリーメントベースの学習による並列コーパスの反復的拡張は、10イテレーションにわたり、アライメントおよび翻訳性能の継続的向上をもたらした。