[論文レビュー] Dynamic Past and Future for Neural Machine Translation

Zaixiang Zheng, Shujian Huang+3 more|arXiv (Cornell University)|Apr 21, 2019

Topic Modeling参考文献 44被引用数 9

ひとこと要約

本稿では、神経機械翻訳のデコード中に、源語を翻訳済み（過去）と未翻訳（未来）のグループに明示的に分離する、新しいキャプセルベースのメカニズムであるガイドド・ダイナミックルーティング（GDR）を提案する。現在のデコード状態によってガイドされるルーティング・バイ・アヘッドのバリエーションを用いることで、解釈可能で動的かつ柔軟なコンテキストモデリングが可能となり、翻訳の適切さが向上し、複数の言語対においてTransformerおよびR-NMTを上回る一貫した性能向上を達成する。

ABSTRACT

Previous studies have shown that neural machine translation (NMT) models can benefit from explicitly modeling translated (Past) and untranslated (Future) to groups of translated and untranslated contents through parts-to-wholes assignment. The assignment is learned through a novel variant of routing-by-agreement mechanism (Sabour et al., 2017), namely {\em Guided Dynamic Routing}, where the translating status at each decoding step {\em guides} the routing process to assign each source word to its associated group (i.e., translated or untranslated content) represented by a capsule, enabling translation to be made from holistic context. Experiments show that our approach achieves substantial improvements over both RNMT and Transformer by producing more adequate translations. Extensive analysis demonstrates that our method is highly interpretable, which is able to recognize the translated and untranslated contents as expected.

研究の動機と目的

• 翻訳の不十分さ、特に過剰翻訳と不十分翻訳の問題を解消するため、翻訳済みおよび未翻訳の源語コンテンツの動的状態を明示的にモデリングすること。
• RNNの状態表現が過去および未来のコンテンツを扱う上で解釈不能で、Transformerのような並列デコーダーと互換性がないという限界を克服すること。
• デコード状態に従って、源語の単語を過去および未来のグループに解釈可能で動的かつ明示的に分離する、部品から全体への割り当てメカニズムを可能にすること。
• デコード状態に従って、源語の表現を過去または未来のコンテンツを表すキャプセルに割り当てるルーティング機構を学習し、解釈可能で効果的であるようにすること。
• 時間依存の包括的視点をデコーダーに提供することで、翻訳の適切さと滑らかさを向上させるため、源語コンテキストの動的かつ包括的な把握を可能にすること。

提案手法

• 本手法は、翻訳済みおよび未翻訳の源語セグメントの包括的表現として、過去および未来の源語コンテンツを2つのキャプセルグループとしてモデル化する。
• 本稿では、現在生成中のターゲット語に従ってルーティングをガイドする、新しいルーティング機構「ガイドド・ダイナミックルーティング（GDR）」を提案する。GDRでは、各源語単語が過去または未来のキャプセルに割り当てられる。
• GDRは、注目度に類似したルーティング重みを用いた反復的ルーティング・バイ・アヘッドを採用し、現在のデコード状態が源語単語のキャプセルへの割り当て確率に影響を与える。
• 最終的な学習とは別に、源語単語が過去または未来のグループに正しく割り当てられるよう明示的に促す補助学習信号を用いて、ルーティングプロセスを最適化する。
• 過去および未来のキャプセル状態は、各デコードステップで動的に更新され、翻訳生成におけるコンテキストとして使用される。
• 本モデルはR-NMTおよびTransformerアーキテクチャの両方に統合され、並列デコードと互換性を保ちつつ、コンテキスト認識能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 源語単語を過去および未来のグループに明示的に分離することで、ニューラル機械翻訳の品質が向上するか？
• RQ2 デコード状態に従ってガイドされるキャプセルベースのルーティング機構は、翻訳済みおよび未翻訳コンテンツの追跡をより解釈可能で正確に行えるか？
• RQ3 提案されたガイドド・ダイナミックルーティング機構は、過去／未来モデリングのためのRNN状態ベースの手法に比べ、翻訳の適切さと解釈可能性において優れているか？
• RQ4 本モデルは、長文翻訳において、特に不十分翻訳の問題をどの程度軽減するか？
• RQ5 本モデルは多様な言語対において有効であり、最先端のTransformerアーキテクチャと互換性があるか？

主な発見

• 提案モデルは、中国語→英語、英語→ドイツ語、英語→ルーマニア語翻訳タスクにおいて、R-NMTおよびTransformerの両方を顕著かつ一貫して上回る性能を達成した。
• 人的評価により、本モデルは過剰翻訳および不十分翻訳が減少し、より適切で高品質な翻訳を生成することが確認された。
• 長さ解析の結果、本モデルはより長い翻訳を生成しており、源語コンテンツのカバー率が向上していることが示された。
• 可視化により、本モデルが意図した通りに源語単語を過去および未来のグループに正しく分離していることが確認され、解釈可能性が裏付けられた。
• 補助学習信号は、End-to-End学習に加えて、過去／未来の割り当て精度を顕著に向上させ、モデル性能の向上に寄与した。
• 本モデルはTransformerデコーダーと互換性を保ち、並列推論を可能にしつつ、動的コンテキスト認識を統合している。