[論文レビュー] Chunk-Based Bi-Scale Decoder for Neural Machine Translation

Hao Zhou, Zhaopeng Tu+4 more|arXiv (Cornell University)|May 3, 2017

Natural Language Processing Techniques参考文献 22被引用数 8

ひとこと要約

本稿では、翻訳を段階的に生成するためのチャンクベースのバイスケールデコーダを提案する。このモデルは、デコーダー状態を2つの時間スケールに分割し、より遅いチャンクレベルの状態でフレーズをモデル化し、より速いワードレベルの状態で語彙的生成を実行する。境界ゲートを用いてチャンクの更新とチャンクリベルのアテンションを制御することで、翻訳のなめらかさと適切さが向上し、中国語-英語およびドイツ語-英語のベンチマークで標準的なアテンションベースのNMTよりも顕著なBLEUスコアの向上を達成する。

ABSTRACT

In typical neural machine translation~(NMT), the decoder generates a sentence word by word, packing all linguistic granularities in the same time-scale of RNN. In this paper, we propose a new type of decoder for NMT, which splits the decode state into two parts and updates them in two different time-scales. Specifically, we first predict a chunk time-scale state for phrasal modeling, on top of which multiple word time-scale states are generated. In this way, the target sentence is translated hierarchically from chunks to words, with information in different granularities being leveraged. Experiments show that our proposed model significantly improves the translation performance over the state-of-the-art NMT model.

研究の動機と目的

• 標準的なNMTデコーダーにおけるフレーズ的および語彙的コンポONENTの更新速度の不一致を解消すること。
• 翻訳先の構造に明示的にフレーズレベルの構造をモデル化することで、翻訳のなめらかさと文法的正しさを向上させること。
• より具体的なコンテキスト表現を実現するため、チャンクリベルのアテンションを導入することで文脈表現を強化すること。
• デコーディングプロセスにおける高速（語レベル）および遅速（フレーズレベル）のダイナミクスを分離することで、過剰翻訳エラーを低減すること。
• 主にソース側の構文特徴に依存するのではなく、翻訳先の言語的知識（例：フレーズ）を組み込む利点を検討すること。

提案手法

• 本モデルは二重時間スケールのRNNアーキテクチャを採用：チャンクリベルのRNNは頻度が低く、ワードレベルのRNNは各ステップで更新される。
• 境界ゲート機構が自動的にフレーズ境界を検出し、チャンク状態の更新をトリガーする。
• チャンクリベルのアテンションは、現在のチャンク状態に基づいてコンテキストベクトルを計算し、フレーズレベル生成のためのより焦点を絞ったソースコンテキストを提供する。
• ワードレベルの状態は、現在のチャンク状態に基づいてアテンションを経由せずに生成され、各フレーズ内での段階的語順生成を可能にする。
• ワードレベルのデコーディングには標準的なアテンションを使用するが、フレーズ的および語彙的ダイナミクスを分離するための新規なバイスケール状態更新メカニズムを導入する。
• 学習は最大尤度推定に基づき、ビームサーチによるデコーディングを用い、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 異なる時間スケールを用いたデコーダー状態におけるフレーズ的および語彙的コンポONENTの分離が、翻訳性能の向上に寄与するか。
• RQ2 翻訳先に明示的なフレーズレベルのモデリングを導入することで、ニューラル機械翻訳におけるなめらかさと適切さが向上するか。
• RQ3 チャンクリベルのアテンションは、標準的なワードレベルのアテンションよりも効果的なコンテキスト表現を提供できるか。
• RQ4 境界ゲート機構が自然なフレーズ境界の検出をどの程度改善するか。
• RQ5 バイスケールアーキテクチャは、標準的なNMTモデルと比較して過剰翻訳エラーを低減するか。

主な発見

• 中国語-英語のWMT'14翻訳タスクにおいて、提案モデルはdl4mtベースラインを上回り、BLEUスコアで0.87ポイントの向上を達成した。
• ドイツ語-英語のWMT'15タスクでも、BLEUスコアが0.87ポイント向上し、言語ペアを問わず一貫した向上が確認された。
• 主観評価では、過剰翻訳エラーが32%から26%に6%低下し、ベースラインと比較して改善が確認された。
• 誤訳エラーは50%から47%に低下し、ソースの内容をよりよくカバーしていることが示された。
• 人間の評価者による評価では、適切さ（3.35 vs. 3.26）およびなめらかさ（3.71 vs. 3.69）の両面で、提案モデルの翻訳がより高いスコアを得た。
• 境界ゲートは平均89%の正確度でフレーズ境界を正しく同定しており、チャンク構造の有効な学習が行われていることが示された。