[논문 리뷰] Unleashing the Power of Multi-Task Learning: A Comprehensive Survey Spanning Traditional, Deep, and Pretrained Foundation Model Eras

Jun Yu, Yutong Dai외 15명|arXiv (Cornell University)|2024. 04. 29.

Machine Learning in Healthcare인용 수 5

한 줄 요약

전통적, 심층 및 파운데이션 모델 시대에 걸친 다중 작업 학습(MTL) 방법에 대한 포괄적 고찰로, 정규화, 희소성/다중 작업 특징 학습, 저랭크 접근법을 상세히 설명한다.

ABSTRACT

MTL is a learning paradigm that effectively leverages both task-specific and shared information to address multiple related tasks simultaneously. In contrast to STL, MTL offers a suite of benefits that enhance both the training process and the inference efficiency. MTL's key advantages encompass streamlined model architecture, performance enhancement, and cross-domain generalizability. Over the past twenty years, MTL has become widely recognized as a flexible and effective approach in various fields, including CV, NLP, recommendation systems, disease prognosis and diagnosis, and robotics. This survey provides a comprehensive overview of the evolution of MTL, encompassing the technical aspects of cutting-edge methods from traditional approaches to deep learning and the latest trend of pretrained foundation models. Our survey methodically categorizes MTL techniques into five key areas: regularization, relationship learning, feature propagation, optimization, and pre-training. This categorization not only chronologically outlines the development of MTL but also dives into various specialized strategies within each category. Furthermore, the survey reveals how the MTL evolves from handling a fixed set of tasks to embracing a more flexible approach free from task or modality constraints. It explores the concepts of task-promptable and -agnostic training, along with the capacity for ZSL, which unleashes the untapped potential of this historically coveted learning paradigm. Overall, we hope this survey provides the research community with a comprehensive overview of the advancements in MTL from its inception in 1997 to the present in 2023. We address present challenges and look ahead to future possibilities, shedding light on the opportunities and potential avenues for MTL research in a broad manner. This project is publicly available at https://github.com/junfish/Awesome-Multitask-Learning.

연구 동기 및 목표

• 전통적에서 심층 및 파운데이션 모델 시대에 이르는 다중 작업 학습의 진화를 고찰한다.
• 정규화, 희소성, 저랭크 구조 및 분해 접근법에 따라 MTL 방법을 분류한다.
• MTL의 대표적인 모델과 최적화 형태를 강조한다.
• 다양한 MTL 프레임워크에서 작업 간 관련성과 선행 정보가 어떻게 도입되는지 논의한다.

제안 방법

• 문헌에서 광범위한 MTL 정식을 수집하고 분류한다.
• MTL에서 사용되는 대표적 목적 함수와 정합화항(정규화항)을 제시한다(예: Frobenius 노름, l2,1, 트레이스 노름).
• 공유 표현을 위한 분해 및 구조적 희소성 접근법을 논의한다.
• 정규화, 저랭크, 다중 작업 특징 학습의 이야기를 포함한 분류 체계를 설명한다.
• MTL에서 작업 관련성을 활용하기 위한 설계 원칙을 종합한다.

실험 결과

연구 질문

• RQ1 전통, 심층, 파운데이션 모델 등 다양한 시대에 걸쳐 개발된 MTL의 주요 방법론적 계층은 무엇인가?
• RQ2 정규화, 희소성 및 저랭크 기법이 MTL에서 공유 및 작업 간 관련성을 어떻게 가능하게 하는가?
• RQ3 다중 작업 예측기를 학습시키기 위해 사용되는 대표적 최적화 형태와 손실 구조는 무엇인가?
• RQ4 시간에 따라 MTL에서 선행 정보(priors)와 공유 구조의 개념은 어떻게 발전해 왔는가?

주요 결과

• 본 고찰은 정규화 기반, 그룹 희소성, 저랭크 및 분해 접근법을 포함한 다양한 MTL 정형을 다룬다.
• 선행 정보와 공유 구조가 Frobenius 노름, l2,1 및 트레이스 노름 등 정규화 항을 통해 어떻게 인코딩되는지 강조한다.
• 전통적 커널 기반 및 회귀 기반 MTL에서 최근의 볼록 및 다선형(멀티-리니어) 형태로의 전환을 보여주는 여러 주목할 만한 모델들이 논의된다.
• 희소성 패턴과 저랭크 구조가 작업 간 관련성을 포착하고 작업 간 확장 가능한 학습을 가능하게 하는 역할을 강조한다.
• 이 연구는 이론적 발전과 MTL 문제 해결을 위한 실용적 최적화 전략을 연결한다.