[論文レビュー] The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding

Xiaodong Liu, Yu Wang+9 more|ArXiv.org|Feb 19, 2020

Topic Modeling参考文献 48被引用数 15

ひとこと要約

MT-DNN は、自然言語理解のためのオープンソースの PyTorch ベースのツールキットであり、統合的マルチタスク学習、対抗的訓練、知識蒸留を可能にすることで、モデルの頑健性、移譲性、デプロイ効率を向上させます。事前学習モデルとエンドツーエンドのファインチューニング、モデル圧縮を組み合わせることで、GLUE、ANLI、バイオメディカルベンチマークで最先端の性能を達成しています。

ABSTRACT

We present MT-DNN, an open-source natural language understanding (NLU) toolkit that makes it easy for researchers and developers to train customized deep learning models. Built upon PyTorch and Transformers, MT-DNN is designed to facilitate rapid customization for a broad spectrum of NLU tasks, using a variety of objectives (classification, regression, structured prediction) and text encoders (e.g., RNNs, BERT, RoBERTa, UniLM). A unique feature of MT-DNN is its built-in support for robust and transferable learning using the adversarial multi-task learning paradigm. To enable efficient production deployment, MT-DNN supports multi-task knowledge distillation, which can substantially compress a deep neural model without significant performance drop. We demonstrate the effectiveness of MT-DNN on a wide range of NLU applications across general and biomedical domains. The software and pre-trained models will be publicly available at https://github.com/namisan/mt-dnn.

研究の動機と目的

• 大規模で高性能な NLP モデルを本番環境にデプロイする課題に対処し、効率的なモデル圧縮を可能にすること。
• 統合された対抗的訓練とマルチタスク学習を通じて、モデルの汎化性能と頑健性を向上させること。
• 多様な NLU タスクと事前学習エンコーダーに対応する統一的で拡張可能なフレームワークを提供すること。
• タスク固有のファインチューニングと事前学習モデル統合をサポートし、一般およびバイオメディカル NLP アプリケーションをカバーすること。
• 事前学習、マルチタスクファインチューニング、対抗的訓練、知識蒸留を含むエンドツーエンドのトレーニングパイプラインを可能にすること。

提案手法

• MT-DNN は、分類、回帰、構造予測タスクのマルチタスク学習に適した、タスク固有のヘッドを備えた共有エンコーダー（例：BERT、RoBERTa、UniLM）を使用しています。
• バックプロパゲーション中に勾配に基づく摂動を組み込むことで、対抗的訓練をサポートし、モデルの頑健性を向上させています。
• 知識蒸留は、アンサンブル教師モデルからのソフトラベルの監視を通じて実施され、顕著な精度損失なしに、より小さなアーキテクチャ（例：LSTM）への圧縮を可能にしています。
• データフォーマット、損失関数、メトリクス、モデルアーキテクチャを定義する構成ファイルによってフレームワークが駆動されており、カスタマイズが容易です。
• マスクド言語モデルを用いたスクラッチからの事前学習と、事前学習モデルからの転移学習の両方をサポートしています。
• 構成ファイルを通じてカスタム損失関数やタスクヘッドを統合できるため、新しいタスクやアーキテクチャへの拡張性が確保されています。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習と対抗的訓練を組み合わせることで、多様なタスクにわたる NLU モデルの頑健性と汎化性能が向上するか？
• RQ2 知識蒸留は、オンラインデプロイに適した環境で、大規模な事前学習モデルを圧縮しながらも性能を維持できるか？
• RQ3 MT-DNN の統一フレームワークは、一般およびバイオメディカル NLP ベンチマークの両方で性能向上を達成できるか？
• RQ4 対抗的訓練とマルチタスク学習を併用することで、ANLI や GLUE といった挑戦的なベンチマークでのモデル性能が向上するか？
• RQ5 このツールキットは、新しい NLU タスクへのカスタマイズおよび BioBERT のようなドメイン固有の事前学習モデルとの統合をどの程度効果的にサポートできるか？

主な発見

• GLUE ベンチマークでは、統合的マルチタスク学習と対抗的訓練が単一タスクのファインチューニングを顕著に上回り、BERT + MTL および BERT + AdvTrain がベースラインを上回る性能を示しました。
• ANLI ベンチマークでは、対抗的訓練を施した RoBERTa-LARGE が、MNLI、SNLI、FEVER の各データセットで強力なベースラインを上回る最先端の結果を達成しました。
• このツールキットは、標準的およびバイオメディカル特化型の事前学習モデルを用いて、命名エンティティ認識、関係抽出、質問応答などのバイオメディカル NLP タスクにおいて、高精度なファインチューニングを成功裏に実現しました。
• 知識蒸留により顕著なモデル圧縮が達成され、精度の低下を最小限に抑え、リソース制限のある環境でも小さなモデル（例：蒸留された BERT や LSTMs）のデプロイが可能になりました。
• 構成駆動の設計により、SNLI などの新しいタスクへのスムーズな適応が可能になり、最小限のコード変更でカスタム損失関数やモデルヘッドの完全なサポートが得られました。
• フレームワークは高い拡張性を示し、構成ファイルを通じてカスタムモデルや損失関数を統合できるため、迅速なプロトタイピングとデプロイが可能になりました。