[論文レビュー] Exploring Benefits of Transfer Learning in Neural Machine Translation

Tom Kocmi|arXiv (Cornell University)|Jan 6, 2020

Natural Language Processing Techniques参考文献 138被引用数 16

ひとこと要約

本博士論文は、低リソース言語対におけるニューラル機械翻訳（NMT）における転移学習を調査し、性能を向上させることを目的としている。低リソース言語対における性能向上を実現するため、事前学習済みの高リソースモデルを再利用するシンプルで効果的な転移技術を提案。事前適応を伴う・なしの両方の方法を検討し、特に転移に最適化されたソースモデルを用いることで顕著な性能向上を示した。また、GPU使用状況に基づくCO2排出量の推定を通じて、学習に伴う環境的コストを定量的に評価した。

ABSTRACT

Neural machine translation is known to require large numbers of parallel training sentences, which generally prevent it from excelling on low-resource language pairs. This thesis explores the use of cross-lingual transfer learning on neural networks as a way of solving the problem with the lack of resources. We propose several transfer learning approaches to reuse a model pretrained on a high-resource language pair. We pay particular attention to the simplicity of the techniques. We study two scenarios: (a) when we reuse the high-resource model without any prior modifications to its training process and (b) when we can prepare the first-stage high-resource model for transfer learning in advance. For the former scenario, we present a proof-of-concept method by reusing a model trained by other researchers. In the latter scenario, we present a method which reaches even larger improvements in translation performance. Apart from proposed techniques, we focus on an in-depth analysis of transfer learning techniques and try to shed some light on transfer learning improvements. We show how our techniques address specific problems of low-resource languages and are suitable even in high-resource transfer learning. We evaluate the potential drawbacks and behavior by studying transfer learning in various situations, for example, under artificially damaged training corpora, or with fixed various model parts.

研究の動機と目的

• 並列データが不足する低リソースニューラル機械翻訳の課題に対処すること。
• 高リソース言語対で事前学習されたモデルを再利用することで、転移学習を解決策として検討すること。
• 特に低リソースおよび高リソースの両設定において、転移学習が翻訳品質に与える影響を評価すること。
• データ汚染や固定されたモデル部品などのさまざまな条件下での、転移学習の挙動と欠点を分析すること。
• NMTモデルの学習に伴う環境的コストを定量評価し、CO2排出量を推定すること。

提案手法

• 他の研究者による事前学習済みNMTモデルを、その学習プロセスを変更せずに再利用するプロトタイプ手法を提案。
• 最初の段階の高リソースモデルを、転移に特化して事前準備する洗練された転移学習アプローチを導入。これにより性能が向上した。
• サブワードトークン化としてバイトペアエンコーディングとWordPieceを用いた、標準的なNMTアーキテクチャ（Transformerなど）を採用。
• 高リソースのソースモデルからのエンコーダーおよび／またはデコーダー重みを初期値として使用することで、転移学習を実装。
• 低リソース状況や意図的に損傷させた訓練コーパスを含む、複数の言語対で広範な実験を実施。
• GPU使用ログ、消費電力、地域の電力ミックス（チェコ：1キロワットアワーあたり516グラムCO2）に基づき、CO2排出量を推定。

実験結果

リサーチクエスチョン

• RQ1 低リソース言語対における翻訳品質の向上に、転移学習はどの程度有効であるか？
• RQ2 学習プロセスを変更せずに事前学習済みモデルを再利用した場合、どの程度の性能向上が達成できるか？
• RQ3 ソースモデルを転移学習に特化して事前学習することで、下流タスクの性能にどのような影響を与えるか？
• RQ4 データ汚染や固定されたモデル部品の条件下での、転移学習の挙動的特性は何か？
• RQ5 NMTモデルの学習に伴う環境的影響、特にCO2排出量はどの程度か？

主な発見

• 本研究では、特に転移に最適化されたソースモデルを用いることで、低リソース言語対における翻訳性能に顕著な向上を達成した。
• 事前学習段階で転移に最適化されたソースモデルを準備する本研究の手法は、既存モデルの単純な再利用よりも大きな性能向上をもたらした。
• 転移学習は、データ不足の問題を効果的に緩和し、意図的に損傷させた訓練コーパス下でも耐性を示した。
• 研究の訓練実行に伴うCO2排出量は合計9.8トンに達し、11回分の跨大西洋便または平均的人口一人当たりの2年分の排出量に相当する。
• NMTモデルの学習に伴う環境的コストは顕著であり、実験全体で18.9ギガワットアワーのエネルギーが消費された。これは、より持続可能な実践が求められることを示唆している。