[論文レビュー] Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation

Yongchang Hao, Shilin He+4 more|arXiv (Cornell University)|Oct 24, 2020

Natural Language Processing Techniques参考文献 44被引用数 8

ひとこと要約

本稿では、自己回帰的（AT）モデルから知識を転送することで、非自己回帰的（NAT）機械翻訳の性能を向上させるために、共有エンコーダを備えたマルチタスク学習フレームワークを提案する。共有エンコーダを用いてNATとATモデルを同時に学習し、AT損失重みを動的に低下させる（アニーリング）ことで、強力なNATベースラインを大きく上回るBLEUスコアの向上が達成され、WMT14, WMT16, WMT19, WMT20の英語–ドイツ語および英語–ルーマニア語翻訳タスクにおいて、知識蒸留と相性が良い。

ABSTRACT

Non-Autoregressive machine Translation (NAT) models have demonstrated significant inference speedup but suffer from inferior translation accuracy. The common practice to tackle the problem is transferring the Autoregressive machine Translation (AT) knowledge to NAT models, e.g., with knowledge distillation. In this work, we hypothesize and empirically verify that AT and NAT encoders capture different linguistic properties of source sentences. Therefore, we propose to adopt Multi-Task learning to transfer the AT knowledge to NAT models through encoder sharing. Specifically, we take the AT model as an auxiliary task to enhance NAT model performance. Experimental results on WMT14 English-German and WMT16 English-Romanian datasets show that the proposed Multi-Task NAT achieves significant improvements over the baseline NAT models. Furthermore, the performance on large-scale WMT19 and WMT20 English-German datasets confirm the consistency of our proposed method. In addition, experimental results demonstrate that our Multi-Task NAT is complementary to knowledge distillation, the standard knowledge transfer method for NAT.

研究の動機と目的

• 非自己回帰的（NAT）と自己回帰的（AT）機械翻訳モデルの性能格差を、ATからNATへの言語的知識転送によって是正すること。
• ATとNATのエンコーダが同じソース文から異なる言語的性質を学習しているかどうかを調査し、補完的な知識転送が可能かどうかを検証すること。
• 共有エンコーダと動的損失重み付けを備えたマルチタスク学習フレームワークを設計し、推論速度を損なわずにNATの性能を向上させること。
• WMT14, WMT16, WMT19, WMT20といった多様で大規模な翻訳ベンチマークにおいて、提案手法の有効性と一般化性能を評価すること。

提案手法

• NATとATモデルが同じエンコーダを共有しながら、別々のデコーダを保有するマルチタスク学習フレームワークを提案する。
• ATモデルを補助タスクとして活用し、共有表現学習によってNATの性能を向上させる。
• 「重要度アニーリング」と呼ばれる動的損失重み付け戦略を採用し、訓練中にAT損失重みを1から0に段階的に低下させ、タスクの寄与度をバランスさせる。
• 標準的な知識転送手法と併用する場合の相性を評価するため、知識蒸留を有効・無効とした状態で評価を実施する。
• プローブタスクを用いて、共有エンコーダが学習する言語的表現を分析し、表面的・構文的・意味的性質についてATモデルとNATモデルを比較する。
• TransformerおよびMask-Predictアーキテクチャを用いて、WMT14, WMT16, WMT19, WMT20の英語–ドイツ語および英語–ルーマニア語翻訳データセットで実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 ATとNATのエンコーダは、同じソース文から異なる言語的性質を学習しているか？
• RQ2 共有エンコーダを用いたマルチタスク学習は、ATからNATモデルへの知識転送を効果的に可能にするか？
• RQ3 提案された重要度アニーリング戦略は、固定重み付けと比較してマルチタスク学習性能を向上させるか？
• RQ4 提案手法は知識蒸留と比較してどのように性能を発揮するか？また、知識蒸留と併用可能か？
• RQ5 提案手法の性能向上は、異なる規模や言語対において一貫しているか？

主な発見

• 提案されたマルチタスクNATモデルは、WMT14のEn→De方向でマスク予測ベースライン比0.96 BLEUポイントの向上を達成し、De→En方向では0.57 BLEUポイントの向上を示した。
• 重要度アニーリングを適用することで、シンプルなマルチタスクベースラインよりも一貫した改善が得られ、動的損失重み付けの有効性が裏付けられた。
• WMT16の英語–ルーマニア語翻訳タスクでは、En→Ro方向で0.77、Ro→En方向で0.89 BLEUポイントの向上を達成した。
• 大規模なWMT19およびWMT20の英語–ドイツ語データセットでは、En→De翻訳において、それぞれ0.58および0.22 BLEUポイントの継続的改善を達成した。
• プローブタスクの結果、共有エンコーダは独立したATまたはNATモデルよりも、表面的・構文的・意味的情報をより良く捉えており、文の長さや木構造の深さ予測において顕著な向上が見られた。
• 知識蒸留と組み合わせた場合、WMT14のEn→De翻訳タスクでマスク予測ベースライン比0.80 BLEUポイントの向上を達成し、補完的利得を示した。