[論文レビュー] Hard but Robust, Easy but Sensitive: How Encoder and Decoder Perform in Neural Machine Translation

Tianyu He, Xu Tan+1 more|arXiv (Cornell University)|Aug 17, 2019

Natural Language Processing Techniques参考文献 33被引用数 8

ひとこと要約

この論文は、実験的分析を通じて、Transformerベースのニューラル機械翻訳におけるエンコーダーとデコーダーの異なる役割を調査している。デコーダーはエンコーダーよりも簡単なタスクを処理しており、収束が速く、入力ノイズに対してより感受性が強い。これは主に、先行するトークンが強い条件付きコンテキストを提供するためである。これらの知見は、エンコーダー・デコーダー枠組みに内在する非対称性を明らかにし、将来的なモデル設計における耐障害性と効率性の向上に貢献する。

ABSTRACT

Neural machine translation (NMT) typically adopts the encoder-decoder framework. A good understanding of the characteristics and functionalities of the encoder and decoder can help to explain the pros and cons of the framework, and design better models for NMT. In this work, we conduct an empirical study on the encoder and the decoder in NMT, taking Transformer as an example. We find that 1) the decoder handles an easier task than the encoder in NMT, 2) the decoder is more sensitive to the input noise than the encoder, and 3) the preceding words/tokens in the decoder provide strong conditional information, which accounts for the two observations above. We hope those observations can shed light on the characteristics of the encoder and decoder and inspire future research on NMT.

研究の動機と目的

• ニューラル機械翻訳におけるエンコーダーとデコーダーの機能的・性能的差異を理解すること。
• デコーダーがトレーニングが容易に見える一方でエンコーダーよりもノイズに対して感受性が高い理由を調査すること。
• 自己回帰的条件付けがデコーダーの挙動に与える影響を分析すること。
• 将来的なNMTモデルの改善に役立つ、エンコーダー・デコーダー枠組みにおける非対称性を実証的に示すこと。

提案手法

• IWSLT14およびその他の翻訳タスクにおいて、エンコーダーとデコーダーの層数を別々に変化させることで、トレーニングの負荷を実験的に比較する。
• 一方のコンポonent（エンコーダーまたはデコーダー）を固定したまま他方を微調整することで、収束速度を測定する。
• 制御された入力ノイズ（ランダムドロップ、ノイジング、スワップ）を導入し、エンコーダーとデコーダーの入力摂動に対する感受性を評価する。
• 自己回帰的と非自己回帰的NMTモデルを比較することで、以前のトークンの条件付けがモデル挙動に与える影響を隔離する。
• 特定の品詞タイプのトークンを意図的にドロップすることで、さまざまな品詞タイプがモデルの感受性に与える影響を分析する。
• BLEUスコアを主な指標として、さまざまな摂動および構成におけるモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜデコーダーはエンコーダーよりも層数を増やすことでより大きなBLEUスコアの向上を達成し、収束が速いか？
• RQ2 なぜデコーダーはエンコーダーよりも入力ノイズに対して感受性が強いのか？
• RQ3 デコーダーの自己回帰的生成プロセスにおける先行トークンの存在が、その性能と耐障害性にどのように影響するか？
• RQ4 異なる品詞タイプが、エンコーダーとデコーダーの入力摂動に対する感受性にどの程度影響を与えるか？

主な発見

• デコーダーはエンコーダーよりも簡単なタスクを処理しており、層数を増やすことでエンコーダーよりも大きなBLEUスコアの向上が得られる。
• 固定パラメータを用いた微調整において、デコーダーはエンコーダーよりも収束が速く、トレーニングの難易度が低いことが示された。
• デコーダーは入力ノイズに対して顕著に感受性が高く、デコーダー入力にノイズを加えると、エンコーダー入力にノイズを加えた場合よりもBLEUスコアの低下が顕著に大きくなる。
• デコーダーにおける先行トークンからの強い条件付き情報が、トレーニングの容易さと入力摂動に対する感受性の両方を説明している。
• デコーダーは終端トークン（EOS）に対して最も感受性が高く、エンコーダーは名詞と形容詞に対して最も感受性が強い。
• 非自己回帰的モデルは自己回帰的モデルと比較して顕著に性能が低く、自己回帰的条件付けがモデルの耐障害性と正確性において重要な役割を果たしていることが確認された。