[論文レビュー] YANMTT: Yet Another Neural Machine Translation Toolkit

Raj Dabre, Eiichiro Sumita|arXiv (Cornell University)|Aug 25, 2021

Natural Language Processing Techniques参考文献 24被引用数 5

ひとこと要約

YANMTT は、Hugging Face の Transformers ライブラリに基づいて構築されたオープンソースで初心者向けのニューラル機械翻訳ツールキットであり、エンドツーエンドの事前学習、微調整、モデル圧縮、および多言語 NMT モデルの分析を可能にします。分散学習、選択的パラメータ転送、知識蒸留、および同時翻訳や文書／マルチソース翻訳などの高度な NMT パラダイムをサポートしており、リソース豊富な（例：日本語–英語で 39.96 BLEU）およびリソースが限られた（例：ヒンディー語–英語で 35.80 BLEU）設定において、最先端の BLEU スコアを達成しています。

ABSTRACT

In this paper we present our open-source neural machine translation (NMT) toolkit called "Yet Another Neural Machine Translation Toolkit" abbreviated as YANMTT which is built on top of the Transformers library. Despite the growing importance of sequence to sequence pre-training there surprisingly few, if not none, well established toolkits that allow users to easily do pre-training. Toolkits such as Fairseq which do allow pre-training, have very large codebases and thus they are not beginner friendly. With regards to transfer learning via fine-tuning most toolkits do not explicitly allow the user to have control over what parts of the pre-trained models can be transferred. YANMTT aims to address these issues via the minimum amount of code to pre-train large scale NMT models, selectively transfer pre-trained parameters and fine-tune them, perform translation as well as extract representations and attentions for visualization and analyses. Apart from these core features our toolkit also provides other advanced functionalities such as but not limited to document/multi-source NMT, simultaneous NMT and model compression via distillation which we believe are relevant to the purpose behind our toolkit.

研究の動機と目的

• 大規模な NMT モデルをゼロから事前学習するための、初心者向けで最小限のコードで利用可能なツールキットの不足を解消すること。
• 微調整時のパラメータ転送に対して細かく制御可能であり、事前学習済みコンponent の選択的適応を可能にすること。
• 同時翻訳、文書／マルチソース翻訳、および知識蒸留によるモデル圧縮を含む、高度な NMT パラダイムをサポートすること。
• 分散学習とモデル分析（注釈可視化や表現抽出を含む）を簡素化すること。
• 大手コードベース（例：Fairseq）に依存せずに、大学や中小組織の研究者がドメインや言語に特化したモデルを事前学習できるようにすること。

提案手法

• Hugging Face の Transformers ライブラリを基盤とすることで、シンプルさとエコシステムの恩恵を活かし、事前学習済みモデルや微調整パイプラインへの容易なアクセスを実現。
• 初心者にとって読みやすく、変更しやすいように、最小限でコメントが豊富なコードベースを採用。
• 単一言語コーパスにおけるデータインフィルティングを用いた分散多言語 NMT 事前学習をサポートし、言語の注目度を調整するための設定可能なサンプリング温度を備える。
• ユーザーがどのモデルコンponent を凍結または更新するかを指定できるようにすることで、微調整時の選択的パラメータ転送を可能に。
• 知識蒸留とパラメータの束縛を用いてモデル圧縮を実装し、推論遅延を低減。
• デコード、注釈可視化、表現抽出を統合したスクリプトを提供し、モデル分析と解釈可能性を促進。

実験結果

リサーチクエスチョン

• RQ1 軽量で初心者向けのツールキットは、最小限のコードと最大限の透明性を備えて、大規模な NMT 事前学習と微調整を効果的にサポートできるか？
• RQ2 微調整時の選択的パラメータ転送は、リソースが限られた言語や多言語翻訳設定において、性能にどのように影響するか？
• RQ3 知識蒸留とパラメータの束縛を用いることで、顕著な精度損失なしに、モデルサイズと推論遅延をどの程度まで削減できるか？
• RQ4 統一されたツールキットは、標準的なシーケンス・ツー・シーケンス学習に加え、同時翻訳、文書レベル翻訳、マルチソース翻訳といった多様な NMT パラダイムを効率的にサポートできるか？
• RQ5 YANMTT を用いて学習されたモデルの性能は、リソース豊富な言語対およびリソースが限られた言語対において、最先端のベースラインと比較してどの程度か？

主な発見

• YANMTT ツールキットは、日本語–英語翻訳タスクで 39.96 BLEU のスコアを達成し、他の既存のツールキットと同等の結果を示した。
• リソースが限られたインディカ諸語では、MBART モデルの微調整により顕著な改善が見られ、ヒンディー語–英語方向で BLEU スコアが 28.21 から 35.80 に上昇した。
• 11 種のインディカ諸語と英語で事前学習された MBART モデルは、MultiIndicMT ベンチマークで優れた性能を示し、多言語事前学習の有効性を裏付けた。
• ツールキットは 48 個の V-100 GPU を用いた分散学習を成功裏に実行し、MBART モデルの事前学習を約 1 日で完了した。
• 事前学習段階でデータインフィルティングと温度ベースのサンプリングを活用することで、言語カバレッジのバランスが保たれ、リソースが限られた言語への一般化性能が向上した。
• ツールキットのモジュール構造と豊富なコメントのおかげで、理解と拡張が容易となり、NMT 事前学習と転移学習に関する研究を支援した。