[논문 리뷰] A Convex Formulation for Learning Task Relationships in Multi-Task Learning

Yu Zhang, Dit‐Yan Yeung|arXiv (Cornell University)|2012. 03. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 134

한 줄 요약

이 논문은 다중 작업 학습에서 모델 파라미터와 작업 간 관계를 함께 학습하는 촉진 최적화 프레임워크인 다중 작업 관계 학습(Multi-Task Relationship Learning, MTRL)을 제안한다. 통합 정규화를 통해 양의 상관관계와 음의 상관관계를 모두 모델링함으로써 MTRL은 교대 최적화를 통해 효율적인 학습을 가능하게 하고, 벤치마크 데이터셋과 단순 문제에서 향상된 일반화 성능을 보여준다.

ABSTRACT

Multi-task learning is a learning paradigm which seeks to improve the generalization performance of a learning task with the help of some other related tasks. In this paper, we propose a regularization formulation for learning the relationships between tasks in multi-task learning. This formulation can be viewed as a novel generalization of the regularization framework for single-task learning. Besides modeling positive task correlation, our method, called multi-task relationship learning (MTRL), can also describe negative task correlation and identify outlier tasks based on the same underlying principle. Under this regularization framework, the objective function of MTRL is convex. For efficiency, we use an alternating method to learn the optimal model parameters for each task as well as the relationships between tasks. We study MTRL in the symmetric multi-task learning setting and then generalize it to the asymmetric setting as well. We also study the relationships between MTRL and some existing multi-task learning methods. Experiments conducted on a toy problem as well as several benchmark data sets demonstrate the effectiveness of MTRL.

연구 동기 및 목표

• 다중 작업 학습에서 작업 간 관계를 모델링할 수 있는 볼록 최적화 프레임워크를 개발하는 것.
• 모델 파라미터와 작업 상관관계(음의 상관관계 포함) 및 이상치 탐지까지 함께 학습할 수 있도록 하는 것.
• 대칭적인 작업 관계에 국한되지 않고 비대칭 설정으로까지 정규화 프레임워크를 일반화하는 것.
• 기존의 다중 작업 학습 방법과 MTRL 간 이론적이고 경험적인 연결 고리를 확립하는 것.
• 통합적이고 미분 가능한 최적화 체계를 통해 구조화된 작업 간 관계를 활용하여 일반화 성능을 향상시키는 것.

제안 방법

• MTRL은 작업 간 관계에 대한 구조화된 정규화 항을 포함하는 볼록 최적화 문제로 다중 작업 학습을 공식화한다.
• 양의 정부호 준정의 행렬을 사용하여 작업 간 관계를 표현함으로써, 양의 상관관계뿐 아니라 음의 상관관계도 모델링할 수 있다.
• 모델 파라미터와 작업 간 관계 행렬을 반복적으로 갱신하기 위해 교대 최적화 알고리즘을 사용한다.
• 프레임워크는 먼저 대칭적인 다중 작업 학습을 위해 개발된 후, 비대칭 설정으로 확장된다.
• 정규화 항은 단일 작업 학습의 일반화로부터 유도되며, 목적 함수에 작업 유사도를 통합한다.
• 학습된 관계 행렬에서 약한 상관관계나 음의 상관관계를 탐지함으로써 이상치 작업을 식별한다.

실험 결과

연구 질문

• RQ1 다중 작업 학습에서 작업 간 관계를 어떻게 모델링할 수 있을까? 이는 양의 상관관계뿐 아니라 음의 상관관계도 지원해야 한다.
• RQ2 효율적으로 모델 파라미터와 작업 간 관계를 함께 학습할 수 있는 볼록 공식을 설계할 수 있는가?
• RQ3 이상치 작업(다른 작업들과 관련이 없는 작업)은 제안된 방법으로 어떻게 처리되는가?
• RQ4 MTRL은 벤치마크 데이터셋에서 기존의 다중 작업 학습 방법보다 성능 향상이 얼마나 이루어지는가?
• RQ5 MTRL의 비대칭 확장은 대칭적인 작업 관계를 초월하여 어떻게 일반화되는가?

주요 결과

• MTRL은 구조화된 작업 간 관계를 학습함으로써 단순 문제와 여러 벤치마크 데이터셋에서 향상된 일반화 성능을 달성한다.
• 이 방법은 일반적인 다중 작업 학습 프레임워크에서 종종 忽略되는 음의 작업 상관관계를 성공적으로 모델링한다.
• 학습된 작업 간 관계 행렬을 통해 이상치 작업이 효과적으로 식별되어 내성적 강건성이 향상된다.
• 볼록 공식은 전역 최적해로 수렴함을 보장하므로 신뢰할 수 있고 효율적인 최적화를 가능하게 한다.
• 경험적 결과는 MTRL이 다양한 다중 작업 학습 시나리오에서 예측 정확도 측면에서 기준 방법들을 능가함을 보여준다.
• 대칭 및 비대칭 형태의 MTRL 모두 일관된 성능 향상을 보이며, 이는 프레임워크의 확장성과 유연성을 검증한다.