[論文レビュー] Domain specialization: a post-training domain adaptation for Neural Machine Translation

Christophe Servan, Josep Crego+1 more|arXiv (Cornell University)|Dec 19, 2016

Natural Language Processing Techniques参考文献 15被引用数 45

ひとこと要約

本論文は、ニューラル機械翻訳（NMT）のためのポストトレーニングドメイン特化手法を提案する。この手法は、ドメインに特化したデータのみを用いて事前学習済みの汎用NMTモデルを微調整することで、最小限の時間で顕著な性能向上を達成する。わずか50Kのドメイン内データでほぼ完全再トレーニングの性能に近づき、全ドメイン内データを用いることで13 BLEUおよびTER点以上の向上を達成する。これにより、コンピュータ支援翻訳（CAT）ワークフローにおける迅速で段階的な適応が可能になる。

ABSTRACT

Domain adaptation is a key feature in Machine Translation. It generally encompasses terminology, domain and style adaptation, especially for human post-editing workflows in Computer Assisted Translation (CAT). With Neural Machine Translation (NMT), we introduce a new notion of domain adaptation that we call "specialization" and which is showing promising results both in the learning speed and in adaptation accuracy. In this paper, we propose to explore this approach under several perspectives.

研究の動機と目的

• 後で得られる翻訳の修正済み翻訳が蓄積されるコンピュータ支援翻訳（CAT）環境において、迅速で段階的なドメイン適応のニーズに対応すること。
• 新しいドメインに適応する際の、NMTモデルを再トレーニングから再構築する時間的・計算的コストを削減すること。
• 少量のドメイン内データで事前学習済みの汎用モデルを微調整することで、完全再トレーニングと同等の性能を達成できるかどうかを検討すること。
• 翻訳品質（BLEU、TER）およびトレーニング効率の観点から、段階的適応の有効性を評価すること。

提案手法

• 以前のトレーニング状態を破棄せずに、ドメイン内データのみを用いて事前学習済みの汎用NMTモデルを再トレーニングする。
• 元のモデルの隠れ状態とパラメータを保持しながら、ドメイン内データに対して追加のエポック（1～18）による段階的微調整を実施する。
• バイトペア符号化（BPE）を用いて未知語の処理を可能にし、トレーニングの安定性を向上させるアテンションベースのシーケンス・トゥ・シーケンスモデルを採用する。
• 固定アーキテクチャで学習を実施：4層の双方向LSTM、500次元の埋め込み、800ユニットのLSTMセル、ドロップアウト（0.3）、初期値1.0の減少する学習率。
• BLEUおよびTERスコアを用いて、特化モデルを汎用ベースラインおよび完全再トレーニングベースラインと比較する。
• 段階的なデータ提供を模擬するため、ヨーロピアン医薬品機関（EMEA）コーパスの増分部分集合（500、5K、50K、全922K行）を用いてトレーニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 ポストトレーニングドメイン特化は、最小限の追加トレーニング時間で翻訳品質に顕著な向上をもたらすことができるか？

主な発見

• わずか500行のドメイン内データで特化させた汎用NMTモデルは、ベースラインと比較してBLEUが0.25ポイント向上し、TERが0.62ポイント改善した。
• 5Kのドメイン内データを用いることで、BLEUが2.0ポイント、TERが3.4ポイント向上し、2ポイントのBLEU向上に1分間のトレーニング時間で達成した。
• 50Kのドメイン内データを用いることで、BLEUが7.7ポイント、TERが8.6ポイント向上し、中程度のデータ量で顕著な性能向上を示した。
• 全ドメイン内データ（922K行）を用いることで、汎用モデルと比較してBLEUが13.2ポイント、TERが13.5ポイント向上し、完全再トレーニング性能に近づいた。
• 50Kのデータを用いた場合、完全再トレーニングと同等またはわずかに優れた性能（BLEUおよびTER点で0.5ポイント上回った）を達成したが、最大データセットでは性能が及ばなかった。
• 時間対スコア比は非常に有利であった：1 BLEUポイントの向上に1分未塔で達成可能であり、6 BLEUポイントの向上は6分未塔で達成された。