[論文レビュー] The University of Edinburgh's Neural MT Systems for WMT17

Rico Sennrich, Alexandra Birch+6 more|arXiv (Cornell University)|Aug 2, 2017

Natural Language Processing Techniques被引用数 23

ひとこと要約

本論文は、WMT17共同タスクにおけるニュース翻訳および生物医学翻訳のためのエディンバラ大学のニューラル機械翻訳システムを提示する。これらのシステムは、深層アーキテクチャ、レイヤー正規化、重みの共有、モノリンガルデータを用いたバックトランスレーションによるBPE分割を採用し、先行システムと比較して2.2–5 BLEUの向上を達成し、12の翻訳方向のうち11で並び首位を記録した。

ABSTRACT

This paper describes the University of Edinburgh's submissions to the WMT17 shared news translation and biomedical translation tasks. We participated in 12 translation directions for news, translating between English and Czech, German, Latvian, Russian, Turkish and Chinese. For the biomedical task we submitted systems for English to Czech, German, Polish and Romanian. Our systems are neural machine translation systems trained with Nematus, an attentional encoder-decoder. We follow our setup from last year and build BPE-based models with parallel and back-translated monolingual training data. Novelties this year include the use of deep architectures, layer normalization, and more compact models due to weight tying and improvements in BPE segmentations. We perform extensive ablative experiments, reporting on the effectivenes of layer normalization, deep architectures, and different ensembling techniques.

研究の動機と目的

• WMT17共同タスクのニュース翻訳および生物医学翻訳のための強力なニューラル機械翻訳システムの開発。
• より深いモデルやレイヤー正規化などのアーキテクチャ的革新を通じて翻訳品質の向上。
• BPEフィルタリング、重みの共有、最適化されたトレーニングによるモデルサイズの縮小と効率性の向上。
• 低リソース環境および生物医学分野におけるアンサンブル、リランクイング、ドメイン適応の有効性の評価。

提案手法

• アテンション機構を備えたNematusを用いた、エンコーダ・デコーダ型のニューラル機械翻訳モデルのトレーニング。
• 語彙外サブワード単位の削減とボキャブラリーのコンパクト化を目的として、フィルタリングを施した共同バイトペア符号化（BPE）の適用。
• トレーニングの安定化と収束の改善を目的として、すべての再帰層およびフィードフォワード層にレイヤー正規化を適用。
• ADAM最適化をADADeltaの代わりに採用し、より高速かつ安定したトレーニングを実現。
• 表現能力の向上を目的として、ディープトランジションおよびスタックドRNNアーキテクチャの実装。
• バックトランスレーションによるモノリンガルデータの統合と、ドメイン特化のためのドメイン内生物医学データでのファインチューニングによるドメイン適応。

実験結果

リサーチクエスチョン

• RQ1 より深いアーキテクチャとレイヤー正規化は、多様な言語対においてNMT性能にどのように影響を与えるか？
• RQ2 BPEフィルタリングと重みの共有は、モデルの効率性とロバスト性をどの程度向上させるか？
• RQ3 アンサンブル戦略（チェックポイント vs. 独立型）は翻訳品質にどのような影響を与えるか？
• RQ4 生物医学翻訳において、合成データおよびバックトランスレートされたモノリンガルデータを用いたドメイン適応はどの程度有効か？
• RQ5 アーキテクチャの改善は、データやハイパーパramータの変更と比較して、BLEUスコアの向上にどの程度寄与するか？

主な発見

• レイヤー正規化とより深いモデルの導入により、2016年のベースラインと比較して6言語対で1.5–3のBLEUスコアの継続的向上が達成された。
• フィルタリングを施したBPEセグメンテーションの適用により、語彙サイズが最大37%まで削減された（例：EN→DEで80,581から51,092に）。この影響は、シーケンス長にほとんど及ばなかった。
• チェックポイントアンサンブルは単一モデルを上回る性能を示したが、独立型アンサンブルが一貫して優れていた。
• 右から左へのリランクイングにより、0–1のBLEUスコア向上が得られたが、2016年と比較してわずかに低下した。これは、単一モデルの性能が強化されたためである。
• ドメイン内データでのファインチューニングによるドメイン適応により、EN→PLで最大2.3ポイント、EN→ROで1.1ポイントのBLEUスコア向上が達成された。ただし、NHS24ではアンサンブルのばらつきが観察された。
• 制限付き提出のうち、11のニュース翻訳方向で並び首位を記録し、すべての生物医学タスクで最高のBLEUスコアを達成した。