[논문 리뷰] A Simple General Approach to Balance Task Difficulty in Multi-Task Learning

Sicong Liang, Yu Zhang|arXiv (Cornell University)|2020. 02. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 7

한 줄 요약

이 논문은 개별 작업 손실을 높은 현재 손실을 가진 작업을 우선시하는 함수를 사용해 변환함으로써 작업 난이도를 동적으로 균형 잡는 밸런스드 멀티태스크 러닝(BMTL) 프레임워크를 제안한다. 이러한 변환된 손실의 합을 최소화함으로써 BMTL는 최적화 효율성과 일반화 성능을 향상시키며, 수작업으로 설계된 가중치나 비연속적인 목표 함수에 의존하지 않고도 다양한 멀티태스크 러닝 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In multi-task learning, difficulty levels of different tasks are varying. There are many works to handle this situation and we classify them into five categories, including the direct sum approach, the weighted sum approach, the maximum approach, the curriculum learning approach, and the multi-objective optimization approach. Those approaches have their own limitations, for example, using manually designed rules to update task weights, non-smooth objective function, and failing to incorporate other functions than training losses. In this paper, to alleviate those limitations, we propose a Balanced Multi-Task Learning (BMTL) framework. Different from existing studies which rely on task weighting, the BMTL framework proposes to transform the training loss of each task to balance difficulty levels among tasks based on an intuitive idea that tasks with larger training losses will receive more attention during the optimization procedure. We analyze the transformation function and derive necessary conditions. The proposed BMTL framework is very simple and it can be combined with most multi-task learning models. Empirical studies show the state-of-the-art performance of the proposed BMTL framework.

연구 동기 및 목표

• 멀티태스크 러닝에서 다양한 작업 난이도 수준이 존재함에 따라 동일하게 처리될 경우 성능이 저하되는 문제를 해결하기 위해.
• 수작업으로 설계된 작업 가중치, 비연속적인 목표 함수, 정규화와의 호환성 문제 등 기존 방법의 한계를 극복하기 위해 일반적이고 미분 가능한 솔루션을 도입하기 위해.
• 대부분의 기존 멀티태스크 러닝 모델과 조합할 수 있는 간단하고 즉시 사용 가능한 프레임워크를 개발하기 위해.
• 변환 함수를 통해 현재 학습 손실이 높은 작업에 동적으로 더 많은 주의를 기울임으로써 균형 잡힌 학습을 보장하기 위해.

제안 방법

• 각 작업의 학습 손실 $ \ell_i $ 를 새로운 값으로 매핑하는 변환 함수 $ h(\ell_i) $ 를 제안하며, 이는 높은 손실을 가진 작업의 가중치를 증가시킨다.
• 변환된 손실의 합 $ \sum_i h(\ell_i) $ 를 최소화하며, 이때 $ h $ 는 최적화 과정에서 높은 손실을 가진 작업의 영향력을 증폭시키도록 설계된다.
• 효율적인 균형 잡힘과 일반화를 보장하기 위해 변환 함수 $ h $ 가 충족해야 할 필요 조건을 유도한다.
• BMTL 프레임워크의 일반화 한계를 분석하여 이론적으로 그 견고성을 정당화한다.
• 모든 멀티태스크 러닝 모델에 쉽게 통합할 수 있는 단순하고 미분 가능한 변환(예: 지수 또는 다항식)을 활용한다.
• Adam 최적화와 학습률 감소를 사용한 표준 딥러닝 설정 하에 DMTL, DMTRL, TNRMTL, MRN 등의 다양한 모델에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 작업 가중치에 의존하지 않고 멀티태스크 러닝에서 작업 난이도의 불균형을 효과적으로 해결할 수 있는가?
• RQ2 일반적이고 미분 가능한 학습 손실의 변환은 다양한 멀티태스크 러닝 아키텍처에서 최적화 동역학과 모델 성능을 향상시킬 수 있는가?
• RQ3 다양한 학습 비율에서 기존 균형 조정 전략과 비교해 본다면, 제안된 BMTL 프레임워크는 정확도와 견고성 측면에서 어떻게 성능을 내는가?
• RQ4 변환 함수 $ h(\cdot) $ 의 이론적 성질은 무엇이며, 일반화 및 수렴에 어떤 영향을 미치는가?

주요 결과

• BMTL 프레임워크는 Office-31, ImageCLEF, Office-Home 등의 여러 데이터셋에서 모든 학습 비율(50%, 60%, 70%)에서 모든 베이스라인 균형 조정 전략을 뛰어넘는 일관된 성능을 보였다.
• Office-31 및 ImageCLEF 데이터셋에서, BMTL는 모든 멀티태스크 러닝 베이스라인(DMTL, DMTRL, TNRMTL, MRN)을 초월해 학습 분할에 관계없이 성능 향상을 보였다.
• SARCOS 회귀 데이터셋에서 BMTL는 가장 낮은 평균 제곱 오차를 기록했으며, 특히 TNRMTL 방법과 조합했을 때 회귀 작업에서 뛰어난 성능을 보였다.
• Office-Home 데이터셋의 학습 손실 곡선 분석 결과, 초기 손실이 높았던 작업들이 더 빠르게 감소하는 것으로 나타나, BMTL가 최적화 과정에서 어려운 작업을 효과적으로 우선시함을 확인했다.
• 다섯 번의 반복 실험을 통해 하이퍼파라미터 선택과 모델 초기화에 대해 뚜렷한 저항성을 보이며 일관된 성능을 기록함으로써 BMTL 프레임워크의 강인함을 입증했다.
• 이론적 분석을 통해 변환 함수 $ h(\cdot) $ 가 균형 잡힘과 일반화를 위해 필요한 조건을 충족함을 확인하였으며, 이는 그 실험적 성공을 뒷받침한다.