[論文レビュー] The Sockeye 2 Neural Machine Translation Toolkit at AMTA 2020

Tobias Domhan, Michael Denkowski+4 more|arXiv (Cornell University)|Aug 11, 2020

Natural Language Processing Techniques参考文献 38被引用数 68

ひとこと要約

Sockeye 2は、最先端のTransformerモデル、8-bit CPU量子化、および研究・実運用向けの混合精度学習を用いて、トレーニングと推論を高速化するGluon MXNetベースのNMTツールキットです。

ABSTRACT

We present Sockeye 2, a modernized and streamlined version of the Sockeye neural machine translation (NMT) toolkit. New features include a simplified code base through the use of MXNet's Gluon API, a focus on state of the art model architectures, distributed mixed precision training, and efficient CPU decoding with 8-bit quantization. These improvements result in faster training and inference, higher automatic metric scores, and a shorter path from research to production.

研究の動機と目的

• Sockeye 2を、洗練されたMXNet GluonベースのNMTツールキットとして紹介する。
• モデルアーキテクチャ、トレーニング速度、推論効率の改善を提示する。
• CPUデコードのための8-bit量子化と、それが待機時間（レイテンシ）およびBLEUに与える影響を示す。
• Horovodと自動混合精度によるトレーニングの強化を紹介する。
• Transformerのバリアント、ソースファクター、およびロバスト性に関する実験からの証拠を提示する。

提案手法

• コードを簡略化し、柔軟な実行モード（eagerとキャッシュ済みグラフ）を可能にする Gluon APIを採用する。
• 深いエンコーダ／デコーダ構成を含む最先端Transformerアーキテクチャを用いた実験。
• 入力のバリエーションに対するロバスト性を高めるため、ソースファクターとさまざまな埋め込みの組み合わせを導入する。
• CPU推論のための8-bit量子化を実装し、最小限のBLEU低下でレイテンシを低減する。
• 分散トレーニングのための Horovodと、混合精度のための AMPを統合してトレーニングを拡張する。
• トレーニング効率と最終モデル品質を向上させるため、 plateau-reduce 学習スケジュールを導入する。

実験結果

リサーチクエスチョン

• RQ1 Sockeye 2は、最先端のTransformerアーキテクチャを使用した場合、従来のSockeyeバージョンと比較してどのように動作するか？
• RQ2 構成全体にわたる8-bit CPU量子化がデコード待機時間とBLEUスコアに与える影響はどの程度か？
• RQ3 入力のケースや正書法の変化に対するロバスト性をソースファクターは改善するのか、またどの埋め込み戦略が最も効果的か？
• RQ4 大規模NMTモデルに対するHorovodベースの分散トレーニングと混合精度トレーニングはどの程度効果的で、plateau-reduceスケジューリングは従来のスケジュールとどう比較されるか？

主な発見

• エンコーダを深く、デコーダを浅くしたTransformerバリアントは、デコード待機時間を大幅に低減しつつ、競争力のあるBLEUを達成できる。
• 8-bit量子化は、CPUでの非バッチデコード時間を著しく削減し、BLEUの低下は最小限にとどまる。
• 入力ケース情報のソースファクターはケース変動に対するロバスト性を高め、いくつかのファクター戦略が実験で最良の性能を示した。
• Plateau-reduceトレーニングは、報告されたベンチマークにおいてOtt et al. (2018)の設定と比較して、短い学習時間で強いBLEUスコアを得る。
• Horovod対応の分散トレーニングとAMPは、トレーニング効率を改善し、より大きな有効バッチサイズとより速い収束を可能にする。