[논문 리뷰] A Survey on Multi-Task Learning

Yu Zhang, Qiang Yang|arXiv (Cornell University)|2017. 07. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 203인용 수 620

한 줄 요약

이 설문은 알고리즘적 모델링, 응용 및 이론 측면에서 다중 작업 학습(MTL)을 검토하고, MTL 방법을 다섯 카테고리로 분류하며 다른 패러다임 및 대규모 설정과의 하이브리드를 논의합니다.

ABSTRACT

Multi-Task Learning (MTL) is a learning paradigm in machine learning and its aim is to leverage useful information contained in multiple related tasks to help improve the generalization performance of all the tasks. In this paper, we give a survey for MTL from the perspective of algorithmic modeling, applications and theoretical analyses. For algorithmic modeling, we give a definition of MTL and then classify different MTL algorithms into five categories, including feature learning approach, low-rank approach, task clustering approach, task relation learning approach and decomposition approach as well as discussing the characteristics of each approach. In order to improve the performance of learning tasks further, MTL can be combined with other learning paradigms including semi-supervised learning, active learning, unsupervised learning, reinforcement learning, multi-view learning and graphical models. When the number of tasks is large or the data dimensionality is high, we review online, parallel and distributed MTL models as well as dimensionality reduction and feature hashing to reveal their computational and storage advantages. Many real-world applications use MTL to boost their performance and we review representative works in this paper. Finally, we present theoretical analyses and discuss several future directions for MTL.

연구 동기 및 목표

• 다중 작업 학습을 정의하고 관련 개념을 명확히 하기 (동질적 특징 공간 vs 이질적 특징 공간).
• 기존 MTL 알고리즘을 다섯 가지 범주로 분류: 특징 학습, 저랭크, 작업 클러스터링, 작업 관계 학습, 분해.
• Semi-supervised, active, unsupervised, reinforcement, multi-view 학습 및 그래프 모델과의 MTL 조합을 논의.
• 온라인, 병렬, 분산 MTL과 차원 축소, 특징 해싱과 같은 고차원 기법의 확장성 고려사항을 검토.

제안 방법

• 관련성을 가진 m 작업에 대한 MTL의 형식적 정의를 제공.
• 다섯 가지 범주로 알고리즘적 접근을 분류하고 각 특징을 설명.
• 변환 기반의 방법과 파라미터 기반의 방법을 상세히 다루고 하위 유형(변환 대 선택; 저랭크, 클러스터링, 관계 학습, 분해).
• 공유 표현, 적대적 네트워크, 크로스-스티치 네트워크를 이용한 깊은 MTL 변형을 도입.
• 다른 학습 패러다임과의 조합 및 차원이 높은 또는 다작 설정을 위한 확장성 솔루션을 다룬다.

실험 결과

연구 질문

• RQ1 지도 학습 및 비지도 설정을 가로지는 다중 작업 학습의 정확한 정의와 범위는 무엇인가?
• RQ2 MTL 알고리즘을 어떻게 분류할 수 있으며 각 범주를 무엇이 특징짓는가?
• RQ3 작업 간 지식 공유를 위한 효과적 전략(특징 공유, 인스턴스 공유, 파라미터 공유)과 그 트레이드오프는 무엇인가?
• RQ4 다른 학습 패러다임과의 상호작용 및 많은 작업이나 고차원 데이터로의 확장성은 어떻게 되는가?
• RQ5 MTL에 대한 핵심 이론 분석과 향후 방향은 무엇인가?

주요 결과

• MTL은 다섯 가지 주요 알고리즘 범주(특징 학습, 저랭크, 작업 클러스터링, 작업 관계 학습, 분해)로 구성할 수 있다.
• 특징 학습은 일반적으로 변환 기반으로 구현되거나, 깊은 모델과 함께 하며, 혹은 그룹 스파스성 정규화인 l21 및 관련 노름과 같은 특징 선택으로 구현될 수 있다.
• 저랭크 및 분해 접근법은 공유 부분 공간이나 행렬 분해를 통해 작업 간 관련성을 모델링하여 확장 가능한 파라미터 공유를 가능하게 한다.
• 하이브리드 딥 MTL 모델은 공유 네트워크, 적대적 목표, 또는 크로스-스티치 메커니즘을 사용하여 공통 표현과 작업별 표현 사이의 균형을 맞춘다.
• 설문은 또한 MTL과 반지도 학습, 적극적 학습, 비지도 학습, 강화 학습, 다중 뷰 학습 및 그래프 모델과의 결합은 물론 온라인/병렬/분산 설정 및 차원 축소 기술에 대해서도 논의한다.