[논문 리뷰] AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning

Han Guo, Ramakanth Pasunuru외 1명|arXiv (Cornell University)|2019. 04. 08.

Machine Learning and Algorithms참고 문헌 51인용 수 4

한 줄 요약

AutoSeM는 자동 다중 작업 학습을 위한 이중 단계 베이지안 최적화 프레임워크를 제안한다: 먼저 톰슨 샘플링을 사용한 베타-베르누이 다중 손실 기반 밴딧을 활용해 유용한 보조 작업을 선택하고, 이후 가우시안 프로세스 기반 베이지안 최적화를 통해 최적의 학습 혼합 비율을 학습한다. 수동 초모수 조정을 제거하고 히우리스틱 기반 베이스라인 및 분리된 변형보다 뛰어난 성능을 달성하여 QNLI에서 최대 5.2%의 성능 향상을 이룬다.

ABSTRACT

Multi-task learning (MTL) has achieved success over a wide range of problems, where the goal is to improve the performance of a primary task using a set of relevant auxiliary tasks. However, when the usefulness of the auxiliary tasks w.r.t. the primary task is not known a priori, the success of MTL models depends on the correct choice of these auxiliary tasks and also a balanced mixing ratio of these tasks during alternate training. These two problems could be resolved via manual intuition or hyper-parameter tuning over all combinatorial task choices, but this introduces inductive bias or is not scalable when the number of candidate auxiliary tasks is very large. To address these issues, we present AutoSeM, a two-stage MTL pipeline, where the first stage automatically selects the most useful auxiliary tasks via a Beta-Bernoulli multi-armed bandit with Thompson Sampling, and the second stage learns the training mixing ratio of these selected auxiliary tasks via a Gaussian Process based Bayesian optimization framework. We conduct several MTL experiments on the GLUE language understanding tasks, and show that our AutoSeM framework can successfully find relevant auxiliary tasks and automatically learn their mixing ratio, achieving significant performance boosts on several primary tasks. Finally, we present ablations for each stage of AutoSeM and analyze the learned auxiliary task choices.

연구 동기 및 목표

• 수동 간섭 없이 관련성이 높은 보조 작업을 선택하고 최적의 학습 혼합 비율을 학습하는 데 도전한다.
• 스케일이 클 경우 비현실적이거나 인간의 편향을 유발하는 수동 직관과 체계적 초모수 검색의 한계를 극복한다.
• 보조 작업을 활용해 주요 NLP 작업의 성능을 향상시키는 확장 가능한 자동화된 파ip라인을 개발한다.
• 이중 단계 프레임워크를 통해 작업 선택과 혼합 비율 최적화를 분리함으로써 효율적이고 적응 가능한 MTL을 가능하게 한다.
• GLUE 벤치마크에서 프레임워크의 효과성을 입증하여 다양한 NLP 작업 간 일관된 성능 향상을 보여준다.

제안 방법

• 작업의 유용성을 베르누이 분포 랜덤 변수로 모델링하는 비정상적인 베타-베르누이 다중 손실 기반 밴딧을 사용하며, 기대값은 주 작업 성능 향상 가능성을 나타낸다.
• 학습 중 후보 작업 간 동적으로 전환하면서 베이지안 추론을 통해 사후 작업 유용성 추정치를 업데이트하여 탐색과 이용의 균형을 이룬다.
• 다양한 혼합 비율의 성능을 확률적 과정으로 모델링하기 위해 마턴 커널을 사용한 가우시안 프로세스(GP)를 적용하여 혼합 비율의 순차적 최적화를 가능하게 한다.
• GP 프레임워크 내에서 낙관적 및 성능 향상 기반 정책을 포함한 포트폴리오 형태의 획득 함수를 사용하여 최적 혼합 비율 탐색을 이끈다.
• 파이프라인을 두 단계로 분리한다: (1) 밴딧을 통한 작업 선택, (2) GP를 통한 혼합 비율 학습으로 모듈화되고 확장 가능한 최적화를 가능하게 한다.
• GP에 이전 실험 결과를 활용하여 최적 혼합 비율에 효율적으로 수렴시키며, 체계적 그리드 서치를 피한다.

실험 결과

연구 질문

• RQ1 수동 편향 없이 주어진 주 NLP 작업에 대해 가장 유용한 보조 작업을 자동으로 효과적으로 식별할 수 있는가?
• RQ2 가우시안 프로세스 기반 베이지안 최적화가 데이터 기반 방식으로 선택된 보조 작업의 최적 혼합 비율을 효율적으로 학습할 수 있는가?
• RQ3 AutoSeM의 성능는 수동 직관에 기반한 작업 및 비율 선택을 사용하는 강력한 베이스라인 및 히우리스틱 모델과 비교해 어떻게 되는가?
• RQ4 각 단계(작업 선택 대비 혼합 비율 학습)가 전체 성능 향상에 기여하는 상대적 기여도는 얼마인가?
• RQ5 자동으로 선택된 보조 작업들이 주 작업과 직관적으로 관련이 있으며, 알려진 언어학적 또는 작업 수준의 유사성과 일치하는가?

주요 결과

• AutoSeM는 강력한 베이스라인 대비 QNLI 벤치마크에서 5.2%의 절대적 성능 향상을 달성하여 다중 작업 학습에서 뚜렷한 성능 향상을 입증했다.
• RTE에서는 4.7% 향상되었고, MRPC에서는 두 가지 다른 평가 지표에서 각각 2.8%와 0.8% 향상되어 다양한 작업 간 일관된 성능 향상을 보였다.
• 분리 실험을 통해 두 단계 모두 필수적임을 확인했다: 작업 선택 단계를 제거하거나 GP를 그리드 서치로 대체하면 성능이 악화되었으며, 각 구성 요소의 가치를 입증했다.
• 다중 손실 기반 밴딧 제어기는 주 작업을 가장 유용한 것으로 식별하고, 관련성이 높은 2~3개의 보조 작업에 중간 수준의 유용성 점수를 할당하며, 관련성이 낮은 작업에는 낮은 추정치를 부여했다.
• 가우시안 프로세스 단계는 효율성과 최종 성능 측면에서 상대적으로 큰 그리드 서치를 능가했으며, 베이지안 최적화가 이전 평가 결과를 효과적으로 활용하여 최적 비율을 찾는 데 성공했음을 보여주었다.
• 실제로 타당성이 있다고 여겨지는 수동 직관 기반 '교육된 추측' 베이스라인(예: MRPC와 QQP 또는 MultiNLI를 조합)을 초월하여 자동 탐색의 우월성을 입증했다.