[論文レビュー] A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods

Zhihan Zhang, Wenhao Yu+3 more|arXiv (Cornell University)|Apr 7, 2022

Topic Modeling被引用数 5

ひとこと要約

本調査は、タスクの関連性に基づいて、自然言語処理（NLP）における多タスク学習（MTL）を2つの訓練パラダイム—同時訓練と複数ステップ訓練—に分類する。タスク依存関係が手法選択に与える影響を分析し、NLP分野における応用をレビューし、将来の方向性としてメタラーニングを用いた適応的MTLや、トランスファーラーニングパイプラインにおけるMTL最適化を特定する。

ABSTRACT

Multi-task learning (MTL) has become increasingly popular in natural language processing (NLP) because it improves the performance of related tasks by exploiting their commonalities and differences. Nevertheless, it is still not understood very well how multi-task learning can be implemented based on the relatedness of training tasks. In this survey, we review recent advances of multi-task learning methods in NLP, with the aim of summarizing them into two general multi-task training methods based on their task relatedness: (i) joint training and (ii) multi-step training. We present examples in various NLP downstream applications, summarize the task relationships and discuss future directions of this promising topic.

研究の動機と目的

• NLPにおけるタスクの関連性に基づいたMTL訓練手法の選択に関する明確な指針の欠如に対処すること。
• 最近のNLPにおけるMTLアプローチを、2つの一般的な訓練フレームワークである同時訓練と複数ステップ訓練に分類すること。
• 多様なNLP応用におけるタスク関係性と訓練依存関係を分析し、手法選択に役立てる。
• 特にメタラーニングとトランスファーラーニング統合に焦点を当てた、MTLにおける未解決の課題と今後の研究方向性を特定すること。
• 研究者が特定のアーキテクチャや損失関数を選択する前に、適切なMTL手法を選択するための構造的フレームワークを提供すること。

提案手法

• NLPにおけるMTL手法を2つの訓練パララダイムに分類する：同時訓練（共有表現を用いた同時タスク訓練）と複数ステップ訓練（依存関係チェーンを伴う順次タスク訓練）。
• エンコーダ・デコーダアーキテクチャを統合的フレームワークとして用い、共有エンコーダとタスク固有のデコーダを持つ多タスク学習をモデル化する。
• 入力／出力の依存関係に基づき、タスクの関連性が、同時訓練と複数ステップ訓練の選択の主要要因であると分析する。
• 同時訓練の代表的モデルとしてDeep Relationship Network、Cross-stitch、Sluice Networkを、複数ステップ訓練の代表的モデルとしてPrediction DistillationとCascaded Informationをレビューする。
• 先行調査（Ruder, 2017; Crawshaw, 2020）における既存のMTLフレームワークを、提案された同時訓練および複数ステップ訓練のカテゴリにマッピングする。
• タスクの依存関係構造—すなわち、タスクが同時に訓練可能かどうか、または順次処理を要するかどうか—が、訓練手法を定義すると提言する。

実験結果

リサーチクエスチョン

• RQ1 タスクの関連性をどのように活用することで、NLPにおける多タスク学習で同時に訓練するか、または複数ステップで訓練するかを決定できるか？
• RQ2 NLP応用における同時訓練と複数ステップ訓練の間で、アーキテクチャ的および訓練的側面にどのような相違が生じるか？
• RQ3 先行調査（例：Ruder, 2017; Crawshaw, 2020）における既存のMTLフレームワークが、提案された同時訓練および複数ステップ訓練のカテゴリにどのようにマッピングされるか？
• RQ4 ユニバーサルモデルやトランスファーラーニングパイプラインへのMTL適用における主な課題は何か？
• RQ5 メタラーニングは、迅速な適応と適応的パラメータ共有を可能にすることで、多タスク学習をどのように強化できるか？

主な発見

• タスクが同時に訓練可能で、共通の表現を共有する場合、同時に訓練が適切である。例として、複数意図分類や多言語NLPが挙げられる。
• 1つのタスクの出力が別のタスクの前提条件である場合、複数ステップ訓練が必要となる。例として、段階的な情報抽出や、蒸留に基づく訓練が挙げられる。
• タスクの関連性、特に構造的および機能的依存関係が、訓練手法の選択を決定づける。同時訓練は並列化可能なタスクに適しており、複数ステップ訓練は順序依存性を扱う。
• 既存のMTLフレームワークとして、Cross-stitchやSluice Networkは同時に訓練に分類されるのが適切であり、Prediction DistillationとCascaded Informationは複数ステップ訓練に分類される。
• メタラーニングは、適応的パラメータ共有と迅速な適応を可能にする点で、MTLにおいて有望な可能性を示しており、とりわけ少サンプルやゼロショットのトランスファー状況で有効である。
• MTLがトランスファーラーニングにおいて果たす役割は、未だ十分に解明されていない。最近の研究では、より良いドメイン一般化を達成するため、ファインチューニングよりも多タスク事前学習が好まれている。