[論文レビュー] Incorporating Structural Alignment Biases into an Attentional Neural Translation Model

Trevor Cohn, Cong Duy Vu Hoang+4 more|arXiv (Cornell University)|Jan 6, 2016

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、従来の語基盤モデルに由来する構造的アライメントバイアス（位置バイアス、マルコフ条件付き、肥沃度、双方向アライメントの一貫性など）を、注目メカニズムに統合することで、注目型ニューラル機械翻訳モデルを向上させている。これらのインダクティブバイアスを組み込むことで、特にリソースが限られた設定において、BLEUスコアとパープレキシティに顕著な向上が得られ、再ランク付けタスクでは強力なベースライン比で最大3.5 BLEUポイントの向上を達成した。

ABSTRACT

Neural encoder-decoder models of machine translation have achieved impressive results, rivalling traditional translation models. However their modelling formulation is overly simplistic, and omits several key inductive biases built into traditional models. In this paper we extend the attentional neural translation model to include structural biases from word based alignment models, including positional bias, Markov conditioning, fertility and agreement over translation directions. We show improvements over a baseline attentional model and standard phrase-based model over several language pairs, evaluating on difficult languages in a low resource setting.

研究の動機と目的

• 標準の注目型ニューラル機械翻訳モデルが、従来のフレーズベースモデルに存在する重要なインダクティブバイアスを欠いているという限界に対処すること。
• 言語的構造的バイアスを注目メカニズムに埋め込むことで、リソースが限られた設定における翻訳品質を向上させること。
• 位置バイアス、肥沃度、一貫性制約といったアライメント関連バイアスを組み込むことでモデル性能が向上するかを検証すること。
• 特に構文的構造が複雑な言語対を含め、多様な言語対に対してモデルを評価すること。
• 構造的インダクティブバイアスがパープレキシティとBLEUスコアの両面で測定可能な向上をもたらすことを示すこと。

提案手法

• デコーディング中にソース語に動的に注目する注目メカニズムを備えた、双方向LSTMベースのエンコーダデコーダフレームワークを導入する。
• 絶対的位置バイアスを組み込むことで注目メカニズムを強化し、ソース語とターゲット語の順序のモノトニックなアライメントを促進する。
• マルコフおよび局所的肥沃度制約を適用して、1つのソース語に対応するターゲット語トークンの期待数をモデル化し、アライメントの一貫性を向上させる。
• 事前学習済みの肥沃度分布を用いてグローバルな肥沃度モデリングを実装し、注目メカニズムのノイズを低減する。
• 前方および後方の注目ヘッドを同時に学習することでアライメントの一貫性を強制し、対称的なアライメント予測を促進する。
• 特にリソースが限られた状況で効果を発揮するよう、強化されたモデルからの対数尤度特徴を用いた再ランク付けを実装する。

実験結果

リサーチクエスチョン

• RQ1 従来の語基盤モデル由来の構造的アライメントバイアスを、注目型ニューラル翻訳フレームワークに効果的に移行できるか？
• RQ2 位置バイアス、肥沃度、アライメント一貫性を組み込むことで、リソースが限られた設定における翻訳品質が向上するか？
• RQ3 これらの構造的バイアスは、ヴァニラ注目型モデルやフレーズベースモデルと比較して、パープレキシティとBLEUスコアにどのように影響を与えるか？
• RQ4 双方向注目ヘッドの共同学習は、アライメント精度と翻訳のなめらかさをどの程度向上させるか？
• RQ5 強化されたモデルは、リソースが限られた翻訳において再ランク付けの用途で強力なベースラインを上回ることができるか？

主な発見

• すべての言語対において、ヴァニラエンコーダデコーダおよび標準的な注目型モデルよりも低いパープレキシティを達成しており、一部のケースでは最大30％の低下を記録した。
• 再ランク付け実験では、ベースラインのフレーズベースシステム比で最大3.5ポイントのBLEUスコア向上を達成し、特に中国語-英語およびエストニア語-英語翻訳で顕著であった。
• 中国語-英語翻訳では、異なる設定を持つモデルのアンサンブルを再ランク付けに用いることで、BLEUスコアがほぼ3ポイント向上した。
• すべての言語対において、ヴァニラ注目型モデルおよびエンコーダデコーダモデルを常に上回り、最低でも1 BLEUポイント以上の向上を達成した。
• グローバルな肥沃度と双方向注目を統合することで、特に1対多のアライメントにおいて、より自信があり一貫性のある注目分布が得られた。
• 結果から、構造的バイアスの統合が、データ不足がモデル学習を制限するリソースが限られた設定において顕著な性能向上をもたらすことが示された。