[논문 리뷰] Learning Task Grouping and Overlap in Multi-task Learning

Abhishek Kumar, Hal Daumé|arXiv (Cornell University)|2012. 06. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 252

한 줄 요약

이 논문은 작업 매개변수를 공유 기저 작업의 희소 선형 조합으로 모델링하는 다중 작업 학습 프레임워크를 제안한다. 이는 영향력 있는 작업 그룹화와 중첩을 가능하게 하며, 조합 계수의 희소성 조건을 통해 작업 간 정보 공유의 정도와 패턴을 제어함으로써, 네 개의 벤치마크 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

In the paradigm of multi-task learning, mul- tiple related prediction tasks are learned jointly, sharing information across the tasks. We propose a framework for multi-task learn- ing that enables one to selectively share the information across the tasks. We assume that each task parameter vector is a linear combi- nation of a finite number of underlying basis tasks. The coefficients of the linear combina- tion are sparse in nature and the overlap in the sparsity patterns of two tasks controls the amount of sharing across these. Our model is based on on the assumption that task pa- rameters within a group lie in a low dimen- sional subspace but allows the tasks in differ- ent groups to overlap with each other in one or more bases. Experimental results on four datasets show that our approach outperforms competing methods.

연구 동기 및 목표

• 다중 작업 학습에서 어떤 작업들이 정보를 공유해야 하는지 선택하는 문제에 대응하기 위해.
• 희소 계수를 통해 공통된 기저 작업을 통해 작업 관계를 모델링하기 위해.
• 한 개 이상의 기저 구성 요소를 공유할 수 있도록 허용함으로써, 여러 작업이 동일한 기저 구성 요소를 공유할 수 있도록 허용하기 위해.
• 데이터로부터 작업 그룹화와 중첩을 자동으로 학습함으로써 일반화 성능을 향상시키기 위해.
• 실세계 벤치마크 데이터셋에서 기존의 다중 작업 학습 방법들을 능가하기 위해.

제안 방법

• 작업 매개변수는 고정된 기저 작업 집합의 희소 선형 조합으로 모델링된다.
• 조합 계수의 희소성은 작업 간 정보 공유의 정도와 패턴을 제어한다.
• 동일한 그룹 내 작업에 대해 저차원 부분공간 가정을 사용한다.
• 작업이 하나 이상의 기저 작업을 공유할 수 있도록 허용함으로써 중첩을 허용한다.
• 희소성과 저질서 구조를 장려하는 정규화된 학습 목표를 통해 최적화를 수행한다.
• 기저 작업과 그 계수를 동시에 학습하기 위해 볼록 최적화 공식을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 다중 작업 학습에서 정보를 공유해야 할 작업들을 자동으로 학습할 수 있는가?
• RQ2 작업 그룹화와 중첩은 다중 작업 학습에서 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ3 기저 작업의 희소 선형 조합이 복잡한 작업 관계를 효과적으로 모델링할 수 있는가?
• RQ4 기존의 다중 작업 학습 기준선 대비 제안된 방법의 성능은 어떻게 비교되는가?
• RQ5 작업 그룹의 중첩은 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 네 개의 실세계 데이터셋에서 경쟁 다중 작업 학습 방법들을 능가한다.
• 모델은 작업 관계에 대한 사전 지식 없이도 효과적으로 작업 그룹화와 중첩을 학습한다.
• 계수 벡터의 희소성은 의미 있고 해석 가능한 작업 그룹화를 이끈다.
• 유사한 작업들 사이에서 정보를 선택적으로 공유함으로써 더 나은 일반화를 달성한다.
• 실험 결과는 다양한 학습 과제에서 일관된 성능 향상을 보여준다.
• 이 방법은 다양한 수준의 작업 중첩과 그룹 구조에 대해 강건하다.