[論文レビュー] Multi-Task Learning in Natural Language Processing: An Overview

Shijie Chen, Yu Zhang+1 more|arXiv (Cornell University)|Sep 19, 2021

Topic Modeling参考文献 145被引用数 29

ひとこと要約

この論文は、マルチタスク学習（MTL）がNLPにどのように適用されているかを概観し、アーキテクチャ、最適化技術、応用を分類し、データセットと今後の方向性を論じる。

ABSTRACT

Deep learning approaches have achieved great success in the field of Natural Language Processing (NLP). However, directly training deep neural models often suffer from overfitting and data scarcity problems that are pervasive in NLP tasks. In recent years, Multi-Task Learning (MTL), which can leverage useful information of related tasks to achieve simultaneous performance improvement on these tasks, has been used to handle these problems. In this paper, we give an overview of the use of MTL in NLP tasks. We first review MTL architectures used in NLP tasks and categorize them into four classes, including parallel architecture, hierarchical architecture, modular architecture, and generative adversarial architecture. Then we present optimization techniques on loss construction, gradient regularization, data sampling, and task scheduling to properly train a multi-task model. After presenting applications of MTL in a variety of NLP tasks, we introduce some benchmark datasets. Finally, we make a conclusion and discuss several possible research directions in this field.

研究の動機と目的

• NLPタスクにおけるデータ不足と過学習に対処するためのMTLの活用を動機づける。
• NLPのMTLアーキテクチャを分類し、その設計原則を説明する。
• NLPにおけるMTLモデルの訓練のための最適化技術を要約する。
• NLPタスクとデータセット全体にわたる補助的および結合的MTLの適用をレビューする。
• NLPにおけるMTLの将来の研究方向とベンチマークについて議論する。

提案手法

• MTLアーキテクチャを並列、階層、モジュラー、生成対立的のカテゴリに分類する。
• ハードパラメータ共有とソフトパラメータ共有の違いと、それらがモデル設計にもたらす影響を説明する。
• 損失構成、データサンプリング、タスクスケジューリングを含む最適化アプローチを説明する。
• 特徴融合、異なるレベルでのスーパービジョン、および階層的相互作用の仕組みを要約する。
• 生成対立的MTLと半教師付き/ラベルなしデータの活用について議論する。
• MTLアダプターと多言語/多ドメインのモジュラ設計の概要を提供する。

実験結果

リサーチクエスチョン

• RQ1 NLPタスクにとって最も効果的なMTLアーキテクチャは何で、なぜそうなるのか？
• RQ2 損失の重み付け、サンプリング、スケジューリングといった最適化戦略は、NLPのMTL訓練をどのように改善できるか？
• RQ3 NLPにおけるMTLを評価するための典型的な応用とデータセットは何か？
• RQ4 モジュラーおよびアダプタベースのアプローチは、大規模事前学習モデルを用いたスケーラブルなマルチタスク学習をどのように実現するか？
• RQ5 NLPにおけるMTLの将来の方向性と課題は何として識別されているか？

主な発見

• NLPにおけるMTLアーキテクチャは、並列、階層、モジュラー、生成対立の4つのクラスに分類される。
• ハードパラメータ共有が一般的であり、ソフト共有はタスク固有の柔軟な制約を提供する。
• 損失の重み付けを伴うタスク損失の結合、動的サンプリング、学習のバランスを取るためのタスクスケジューリングを含む最適化戦略。
• 階層的およびモジュラー設計は、共有とタスク固有の専門化を効果的に可能にし、大規模な事前学習モデルのアダプターを含む。
• 生成対立的設計は、タスクに不変な共有表現を促進し、ラベルなしデータを活用できる。
• MTLはデータ効率とロバスト性を向上させ、特に補助的/自己教師付きタスクが組み込まれる場合に効果的である。