[論文レビュー] Unleashing the Power of Multi-Task Learning: A Comprehensive Survey Spanning Traditional, Deep, and Pretrained Foundation Model Eras

Jun Yu, Yutong Dai+15 more|arXiv (Cornell University)|Apr 29, 2024

Machine Learning in Healthcare被引用数 5

ひとこと要約

従来の時代・深層時代・基盤モデル時代にわたるマルチタスク学習（MTL）手法の網羅的な調査で、正則化、疎性/マルチタスク特徴学習、および低秩アプローチを詳述する。

ABSTRACT

MTL is a learning paradigm that effectively leverages both task-specific and shared information to address multiple related tasks simultaneously. In contrast to STL, MTL offers a suite of benefits that enhance both the training process and the inference efficiency. MTL's key advantages encompass streamlined model architecture, performance enhancement, and cross-domain generalizability. Over the past twenty years, MTL has become widely recognized as a flexible and effective approach in various fields, including CV, NLP, recommendation systems, disease prognosis and diagnosis, and robotics. This survey provides a comprehensive overview of the evolution of MTL, encompassing the technical aspects of cutting-edge methods from traditional approaches to deep learning and the latest trend of pretrained foundation models. Our survey methodically categorizes MTL techniques into five key areas: regularization, relationship learning, feature propagation, optimization, and pre-training. This categorization not only chronologically outlines the development of MTL but also dives into various specialized strategies within each category. Furthermore, the survey reveals how the MTL evolves from handling a fixed set of tasks to embracing a more flexible approach free from task or modality constraints. It explores the concepts of task-promptable and -agnostic training, along with the capacity for ZSL, which unleashes the untapped potential of this historically coveted learning paradigm. Overall, we hope this survey provides the research community with a comprehensive overview of the advancements in MTL from its inception in 1997 to the present in 2023. We address present challenges and look ahead to future possibilities, shedding light on the opportunities and potential avenues for MTL research in a broad manner. This project is publicly available at https://github.com/junfish/Awesome-Multitask-Learning.

研究の動機と目的

• 従来から深層および基盤モデル時代へのマルチタスク学習の進化を調査する。
• 正則化、疎性、低ランク構造、および分解アプローチによってMTL手法を分類する。
• MTLの代表的なモデルと最適化定式化を紹介する。
• さまざまなMTLフレームワークでタスク関連性と事前情報がどのように組み込まれているかを論じる。

提案手法

• 文献から広範なMTL定式化を収集し、分類する。
• MTLで用いられる代表的な目的関数と正則化項を示す（例：Frobeniusノルム、l2,1、トレースノルムなど）。
• 共有表現のための分解および構造化スパース性アプローチを論じる。
• 正則化、低ランク、およびマルチタスク特徴学習のストーリーにまたがる分類法を示す。
• MTLにおけるタスク関連性を活用する設計原理を総合する。

実験結果

リサーチクエスチョン

• RQ1 従来・深層・基盤モデルといった異なる時代で開発されたMTLの主要な方法論的ファミリは何か？
• RQ2 正則化、疎性、および低ランク技術はMTLにおける共有とタスク関連性をどのように実現するか？
• RQ3 マルチタスク予測子を学習するために用いられる代表的な最適化定式化と損失構造は何か？
• RQ4 時間とともにMTLにおける事前情報と共有構造の概念はどのように進化してきたか？

主な発見

• 本調査は正則化ベース、グループスパース、低ランク、および分解アプローチを含む幅広いMTL定式化を網羅している。
• 事前情報と共有構造が、Frobeniusノルム、l2,1、トレースノルムなどの正則化項を介してどのように符号化されるかを強調している。
• いくつかの著名なモデルが取り上げられ、伝統的なカーネルベースおよび回帰ベースのMTLから、最近の凸最適化および多線形定式化への移行を示している。
• スパース性パターンと低ランク構造がタスク関連性を捉え、タスク間でスケーラブルな学習を可能にする役割を強調している。
• この調査は、MTL問題を解くための理論的発展と実践的な最適化戦略を結びつけている。