[論文レビュー] Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey

Lovre Torbarina, Tin Ferkovic+4 more|arXiv (Cornell University)|Aug 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本調査は、機械学習ライフサイクル全体にわたる自然言語処理（NLP）におけるトランスフォーマー基盤のマルチタスク学習（MTL）を調査し、データエンジニアリング、モデル開発、デプロイメント、モニタリングの分野における課題と機会を特定する。本調査では、定期的な再トレーニングと分布シフト、新規タスクへの動的適応を可能にするために、MTLと継続的学習（CL）を統合した新規手法である継続的マルチタスク学習（CMTL）を提唱する。

ABSTRACT

The increasing adoption of natural language processing (NLP) models across industries has led to practitioners' need for machine learning systems to handle these models efficiently, from training to serving them in production. However, training, deploying, and updating multiple models can be complex, costly, and time-consuming, mainly when using transformer-based pre-trained language models. Multi-Task Learning (MTL) has emerged as a promising approach to improve efficiency and performance through joint training, rather than training separate models. Motivated by this, we first provide an overview of transformer-based MTL approaches in NLP. Then, we discuss the challenges and opportunities of using MTL approaches throughout typical ML lifecycle phases, specifically focusing on the challenges related to data engineering, model development, deployment, and monitoring phases. This survey focuses on transformer-based MTL architectures and, to the best of our knowledge, is novel in that it systematically analyses how transformer-based MTL in NLP fits into ML lifecycle phases. Furthermore, we motivate research on the connection between MTL and continual learning (CL), as this area remains unexplored. We believe it would be practical to have a model that can handle both MTL and CL, as this would make it easier to periodically re-train the model, update it due to distribution shifts, and add new capabilities to meet real-world requirements.

研究の動機と目的

• トランスフォーマー基盤のMTLが機械学習ライフサイクルの全段階（データエンジニアリング、モデル開発、デプロイメント、モニタリング）にどのように統合されるかを体系的・系統的に分析すること。
• 実世界のNLPプロダクションシステムへのMTL適用に際しての主な課題と機会（計算コスト、モデル保守、スケーラビリティなど）を特定すること。
• MTLと継続的学習（CL）の間の未だ十分に掘り下げられていない関連性を強調し、動的モデル更新を支援する統一フレームワークの構築を提唱すること。
• 生産環境における順次的タスク追加、分布シフト、定期的再トレーニングへの適応を可能にする実用的ソリューションとして、継続的マルチタスク学習（CMTL）を提唱すること。
• CMTLモデルの評価に適した、実世界のMLシステムの課題をリアルisticallyシミュレートするベンチマークの構築を促すこと。

提案手法

• パラメータ共有メカニズム（例：タスク固有ヘッド、アダプタ、ハイパーネットワーク）に焦点を当て、NLPにおける既存のトランスフォーマー基盤MTLアーキテクチャを調査する。
• MTLのコンponentsをMLライフサイクルの各段階にマッピングし、データエンジニアリングにおけるデータの不均衡や、モニタリングにおけるモデルの陳腐化といった段階固有の課題を特定する。
• アダプタベースやパラメータ隔離設計におけるMTLと継続的学習（CL）のアーキテクチャ的類似性を分析し、CMTL統合の可能性を検討する。
• MTLの同時学習とCLの段階的学習を統合したCMTLフレームワークを提唱し、アダプターやハイパーネットワークといった共有コンponentsを活用する。
• タスクの到着頻度、再トレーニングスケジュール、分布シフトを含む実世界の条件をシミュレートするベンチマーク戦略を設計する。
• 視覚的・アーキテクチャ的比較（例：図3）を用いて、MTLとCLのコンponentsがどのように入れ替え可能または統合可能かを説明する。例えば、MTL用アダプターをCL対応モジュールに置き換えること。

Figure 1: Simplified overview of MTL architectures. Sub-figure a) represents a fully-shared encoder, b) an adapter, and c) a hypernetwork. Blue components are trained jointly by all the tasks, green ones are task-specific, and grey ones are kept frozen. A dotted adapter component suggests possible a

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のMTLは、どのようにして機械学習ライフサイクル全体に効果的に統合可能か。また、データエンジニアリング、モデル開発、デプロイメント、モニタリングにおける主な課題は何か。
• RQ2 MTLと継続的学習（CL）の間には、統一されたCMTLフレームワークを構築する上で有効なアーキテクチャ的類似性が存在するか。
• RQ3 MTLは、生産環境における順次的タスク学習および分布シフトへの適応をどのように拡張できるか。
• RQ4 実世界の生産環境条件を想定した公平な評価を実現するためには、どのようなベンチマーク戦略が必要か。
• RQ5 既存のMTLコンponents（アダプター、ハイパーネットワークなど）は、継続的学習をサポートするために再利用可能か。これにより、効率的かつモジュール化されたCMTLモデルが実現可能か。

主な発見

• トランスフォーマー基盤のMTLは、複数のNLPタスク間でパラメータを共有することで、モデルの効率性を向上させ、計算コストおよび経済的コストを削減する。
• MTLは、共通のバックボーンコンponentsを備えたモジュラーかつ再利用可能なアーキテクチャを可能にすることで、生産環境におけるモデルのデプロイメントおよび保守を簡素化する。
• アダプター、ハイパーネットワークといったアーキテクチャ的コンponentsはMTLとCLの両者で共有されており、CMTLモデルの構築に強い基盤を提供している。
• MTLとCLを統合したCMTLフレームワークの導入により、深刻な忘れの発生を防ぎつつ、新規タスクや分布シフトへの対応が可能になる。
• 定期的再トレーニング、タスクの到着頻度、分布シフトをシミュレートするベンチマークは、CMTLモデルの効果的評価に不可欠である。
• 提案されたCMTLアプローチは、既存のMTLコンponentsを活用しており、アダプターまたはパラメータ隔離モジュールの単なる修正で実装可能であるため、既存のMTLシステムとの後方互換性を保つことができる。

Figure 3: (A). Adapter-BERT (Houlsby et al., 2019 ) uses adapters in a transformer layer (Vaswani et al., 2017 ) . Adapters are 2-layer networks with skip-connections, added twice per layer. Only adapters (yellow) and layer norm (green) are trainable while other modules (grey) are frozen. (B). B-CL