[논문 리뷰] Minimax Multi-Task Learning and a Generalized Loss-Compositional Paradigm for MTL

Nishant A. Mehta, Dongryeol Lee외 1명|arXiv (Cornell University)|2012. 09. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 6

한 줄 요약

이 논문은 최대 경험 위험을 최소화하는 새로운 다중작업학습(MTL) 설정인 최소최대 다중작업학습(minimax MTL)을 소개하고, 고전적 MTL과 최소최대 MTL을 연속적인 완화 스펙트럼을 통해 통합하는 일반화된 손실 조합 프레임워크를 제안한다. 이론적으로 최소최대 MTL은 새로운 작업에서 최악의 경우 성능을 개선하며, 실험적으로는 데이터가 제한적일 때나 모델 용량이 클 경우에 표준 MTL보다 최대 위험 목표에서 뛰어난 성능을 보인다.

ABSTRACT

Since its inception, the modus operandi of multi-task learning (MTL) has been to minimize the task-wise mean of the empirical risks. We introduce a generalized loss-compositional paradigm for MTL that includes a spectrum of formulations as a subfamily. One endpoint of this spectrum is minimax MTL: a new MTL formulation that minimizes the maximum of the tasks' empirical risks. Via a certain relaxation of minimax MTL, we obtain a continuum of MTL formulations spanning minimax MTL and classical MTL. The full paradigm itself is loss-compositional, operating on the vector of empirical risks. It incorporates minimax MTL, its relaxations, and many new MTL formulations as special cases. We show theoretically that minimax MTL tends to avoid worst case outcomes on newly drawn test tasks in the learning to learn (LTL) test setting. The results of several MTL formulations on synthetic and real problems in the MTL and LTL test settings are encouraging.

연구 동기 및 목표

• 고전적 MTL의 한계를 해결하기 위해, 평균 작업 위험을 최소화하는 방식으로 최악의 경우 작업에서 성능이 떨어질 수 있다는 점을 다루기 위해.
• 모든 작업의 최대 경험 위험을 최소화함으로써 최악의 결과에 대한 강건성을 확보하는 새로운 MTL 설정인 최소최대 MTL을 제안하기 위해.
• 고전적 MTL, 최소최대 MTL, 그리고 중간 완화 형태를 하나의 프레임워크로 통합하는 일반화된 손실 조합 프레임워크를 개발하기 위해.
• 최대 위험 및 평균 위험 기준에 따라, 다양한 모델 용량과 데이터 제약 조건에서 다중작업학습(MTL) 및 학습-학습(LTL) 설정에서 최소최대 및 완화된 MTL 설정의 성능을 평가하기 위해.
• 최대 경험 위험을 최소화함으로써 새로운 작업에서 진짜 최악의 경우 위험에 대한 유한한 경계가 존재한다는 이론적 근거를 제공하기 위해.

제안 방법

• 모든 작업의 경험 위험 중 최대값을 최소화하는 새로운 MTL 목표인 최소최대 MTL을 제안하며, 이를 합이나 평균으로 최소화하는 방식이 아니라 최대값을 최소화하는 방식으로 설정한다.
• 최소최대 MTL의 연속적인 완화 가중치 가중치 집합을 제안하며, 이는 α로 인덱싱되며, α = 1일 때 최소최대 MTL로 복원되고, α = 0일 때 고전적 MTL로 복원된다.
• 경험 위험 벡터를 기반으로 작동하는 일반화된 손실 조합 프레임워크를 개발하며, 이는 ℓp MTL 설정을 특수 케이스로 포함한다.
• 공유 표현 학습과 작업별 예측기 적응을 포함하여 다중작업학습(MTL) 및 학습-학습(LTL) 모두에 이 프레임워크를 적용한다.
• 모델 용량을 제어하고 과적합을 방지하기 위해 공유 가중치 행렬에 트레이스 노름 정규화를 사용한다.
• 교차검증과 제어된 실험을 통해 합성 및 실질 데이터셋(MNIST, 개인용 컴퓨터, 기타 두 개)을 이용하여 다양한 용량 및 데이터 제약 조건에서 설정들을 비교한다.

실험 결과

연구 질문

• RQ1 모든 작업의 최대 경험 위험을 최소화하는 것이 다중작업학습에서 최악의 경우 일반화 성능을 향상시키는가?
• RQ2 일련의 연속적인 완화 스펙트럼을 통해 일반화된 손실 조합 프레임워크가 고전적 MTL과 최소최대 MTL을 통합할 수 있는가?
• RQ3 다양한 데이터셋과 모델 용량에서 최소최대 MTL과 완화된 MTL 설정이 ℓ₁ MTL에 비해 최대 및 평균 테스트 위험 측면에서 어떻게 비교되는가?
• RQ4 모델 용량이 훈련 데이터에 비해 클 경우, 최소최대 MTL이 과적합에 더 강건한가?
• RQ5 최대 경험 위험을 최소화함으로써 새로운 작업에서의 진짜 최악의 경우 위험에 대한 경계가 존재한다는 이론적 근거는 있는가?

주요 결과

• 개인용 컴퓨터 및 MNIST 데이터셋에서, 모델 용량이 제한적일 경우 최소최대 MTL이 ℓ₁ MTL보다 최대 테스트 위험 목표에서 뛰어난 성능을 보였다.
• MNIST 데이터셋에서, 모델 용량이 감소함에 따라 최소최대 MTL이 ℓ₁ MTL보다 더 넓은 성능 격차를 보이며, 자료 부족 조건에서의 강건성을 확인했다.
• 최대 위험 목표에서, (0.1T)-최소최대 및 (0.2T)-최소최대 MTL 설정은 고도의 작업별 용량을 가진 환경에서 ℓ₁ MTL 및 최소최대 MTL조차도 뛰어난 성능을 보였다.
• LTL 설정에서, 최소최대 및 (0.1T)-최소최대 MTL 설정은 공유 용량이 중간일 경우 최대 RMSE 목표에서 ℓ₁ MTL을 능가했다.
• 공유 용량이 높을 경우, ℓ₁ MTL이 평균 RMSE 목표에서 가장 우수한 성능을 보였으며, 공정성과 평균 성능 사이의 상충 관계를 시사했다.
• 이론적 분석(정리 1)에 따르면, 최대 경험 위험이 γ로 유한하게 제한되어 있다면, 새로운 작업에서의 진짜 최악의 경우 위험 역시 대략 γ로 유한하게 제한될 가능성이 높으며, 이는 최소최대 접근 방식의 타당성을 뒷받침한다.