[論文レビュー] EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing

Chengyu Wang, Minghui Qiu+8 more|arXiv (Cornell University)|Apr 30, 2022

Advanced Data Processing Techniques被引用数 5

ひとこと要約

EasyNLP は、統合された知識強化事前学習、対照的プロンプトチューニングを用いた少サンプル学習、および知識蒸留を統合することで、大規模事前学習モデル（PTM）の効率的で使いやすい開発・デプロイを可能にする包括的かつ使いやすい NLP ツールキットです。ゼロショットプロービングタスクで最先端の性能を達成し、最小限のデータと高い推論効率で産業応用において最大5%の精度向上を実現しています。

ABSTRACT

The success of Pre-Trained Models (PTMs) has reshaped the development of Natural Language Processing (NLP). Yet, it is not easy to obtain high-performing models and deploy them online for industrial practitioners. To bridge this gap, EasyNLP is designed to make it easy to build NLP applications, which supports a comprehensive suite of NLP algorithms. It further features knowledge-enhanced pre-training, knowledge distillation and few-shot learning functionalities for large-scale PTMs, and provides a unified framework of model training, inference and deployment for real-world applications. Currently, EasyNLP has powered over ten business units within Alibaba Group and is seamlessly integrated to the Platform of AI (PAI) products on Alibaba Cloud. The source code of our EasyNLP toolkit is released at GitHub (https://github.com/alibaba/EasyNLP).

研究の動機と目的

• 高い計算コスト、データ不足、世界知識の限界といった要因により、産業現場での大規模事前学習モデル（PTM）のデプロイが困難であるという課題に対処すること。
• 少サンプル学習および知識蒸留技術を用いて、実務家が簡単に PTM のファインチューニングとデプロイが行えるようにすること。
• 独自の事前学習フレームワークを用いて知識ベースからの事実知識を統合することで、PTM の性能を向上させること。
• アリババクラウドの PAI プラットフォームと統合することで、モデルトレーニングからオンラインデプロイまでをシームレスにカバーするエンドツーエンドのパイプラインを提供すること。

提案手法

• 知識注入とタスク固有の学習を分離することで、より良い事実理解が可能になる知識強化事前学習フレームワークである DKPLM を導入。
• 対照的学習を用いて自動的にバリエータ（verbalizer）設計を最適化する少サンプル学習手法である対照的プロンプトチューニング（CP-Tuning）を採用。手動作業を削減。
• メタテイチャーを一つに統合し、複数ドメインのデータで学習させることで、多様なドメインにまたがる小型の学生モデルに知識を効果的に蒸留する MetaKD を用いた知識蒸留をサポート。
• モデル管理、データセットロード、アプリケーション構築を容易にするため、ModelZoo、AppZoo、DataHub を含む統合 API スタックを提供。
• Hugging Face Transformers およびアリババの PAI エコシステム（例：PAI-DSW、PAI-EAS）と統合し、スケーラブルなトレーニングとオンライン推論を実現。
• 最小限のコードでカスタム知識ベースを用いたドメイン特化型 PTM の事前学習を可能にし、産業スケールのデプロイを支援。

実験結果

リサーチクエスチョン

• RQ1 外部の世界知識を効果的に事前学習言語モデルに統合することで、一般的な推論エラーを低減できるか？
• RQ2 少数のラベル付き例しか利用できない状況で、大規模 PTM の少サンプルファインチューニングを効果的に行う最良の方法は何か？
• RQ3 対照的学習を用いることで、手動設計を伴わずプロンプトベースのファインチューニングにおけるバリエータの自動構築を改善できるか？
• RQ4 複数ドメインにまたがる知識蒸留を最適化することで、コンactな性能を持つ小型の学生モデルを生成できるか？
• RQ5 統合型ツールキットが、産業現場におけるトレーニングからオンラインデプロイまでの一連の NLP パイプラインをどれほどスムーズにできるか？

主な発見

• DKPLM はゼロショット知識プロービングタスク（LAMA および LAMA-UHN）で最先端の性能を達成し、強力なベースラインを平均1.57%上回りました。
• 医療分野向けの DKPLM モデルは、標準的な BERT と比較して命名エンティティ認識の精度を3%以上向上させました。
• CP-Tuning は、すべての少サンプル分類タスクで一貫した性能向上を達成し、PET や LM-BFF、P-Tuning を上回りました。
• 顧客サービス応用において、少サンプルデータを用いた場合、CP-Tuning はエンティティ抽出精度を2%、属性抽出精度を5%向上させました。
• MetaKD は BERT-base モデルのサイズを BERT-tiny（1450万パラメータ）に削減しながらも性能を維持し、AliMe チャットボットでは 7.2倍の高速推論（1%の精度低下で）を実現しました。
• FewCLUE ベンチマークの結果、EasyNLP の少サンプルツールキットは評価された手法の中で最高のパフォーマンスを示しました。