[논문 리뷰] Task Selection Policies for Multitask Learning

J. Glover, Chris Hokamp|arXiv (Cornell University)|2019. 07. 14.

Advanced Bandit Algorithms Research참고 문헌 49인용 수 7

한 줄 요약

이 논문은 다중태스크 학습(MTL) 환경에서 모델 성능 향상을 위해 훈련 예산을 태스크 간에 동적으로 할당하는 반사적 추정 기반의 태스크 선택 정책을 제안한다. 비재학습 평가를 사용해 태스크에 대한 최적의 샘플링 분포를 학습함으로써, GLUE 벤치마크에서 태스크별 미세조정 성능에 근접한 성능을 달성하며, 균일 및 데이터 크기 비례 정책보다 뛰어난 성능을 보였다.

ABSTRACT

One of the questions that arises when designing models that learn to solve multiple tasks simultaneously is how much of the available training budget should be devoted to each individual task. We refer to any formalized approach to addressing this problem (learned or otherwise) as a task selection policy. In this work we provide an empirical evaluation of the performance of some common task selection policies in a synthetic bandit-style setting, as well as on the GLUE benchmark for natural language understanding. We connect task selection policy learning to existing work on automated curriculum learning and off-policy evaluation, and suggest a method based on counterfactual estimation that leads to improved model performance in our experimental settings.

연구 동기 및 목표

• 다중 NLP 태스크에 걸쳐 제한된 훈련 예산을 할당하는 다중태스크 학습 환경에서의 과제를 해결한다.
• 단일태스크 미세조정에 비해 MTL에서 성능 저하를 완화할 수 있는 태스크 선택 정책이 존재하는지 조사한다.
• 비재학습 평가의 맥락에서 태스크 선택과 자동 커리큘럼 학습 간의 관계를 탐색한다.
• 반사적 추정을 사용해 최적의 태스크 샘플링 정책을 학습하고 개선된 MTL 일반화 성능를 확보하기 위한 방법을 개발하고 평가한다.
• 학습된 정책이 다양한 데이터 크기의 NLP 태스크에서 단일태스크 미세조정 성능에 근접한 성능를 유지할 수 있음을 입증한다.

제안 방법

• 각 태스크가 학습된 확률로 샘플링되는 확률적 정책 학습 문제로 태스크 선택을 공식화한다.
• 반사적 추정(Bottou 등, 2012)을 사용해 재학습 없이도 정책의 기대 성능를 평가함으로써 비재학습 학습을 가능하게 한다.
• 정책 최적화를 이끄는 데 사용할 수 있는 개별 예측에 대한 모델 성능 기반의 서면 샘플 수준 보상 신호를 정의한다.
• 과적합을 방지하기 위해 엔트로피 항을 포함한 정규화된 목적 함수를 사용해 정책을 최적화한다.
• 밴딧 스타일 설정을 사용해 초기 롤아웃 4회(하이퍼파ram터 튜닝 포함)로 정책을 훈련한다.
• 학습된 정책을 사용해 BERT를 GLUE 벤치마크에서 미세조정하고, 균일 및 데이터 크기 비례 정책과 성능를 비교한다.

실험 결과

연구 질문

• RQ1 학습된 태스크 선택 정책이 균일 또는 데이터 크기 비례 샘플링과 같은 히우리스틱 정책보다 다중태스크 학습에서 성능가 뛰어나게 되는가?
• RQ2 반사적 추정 기반 정책의 성능는 합성 및 실제 NLP 벤치마크에서 무작위 또는 커리큘럼 기반 정책과 비교해 어떻게 되는가?
• RQ3 반사적 추정을 통한 비재학습 평가를 통해 전체 재학습 없이도 MTL에서 태스크 샘플링 전략을 최적화할 수 있는 정도는 어느 정도인가?
• RQ4 학습된 정책은 특히 소규모 데이터 태스크에서 성능를 효과적으로 균형 잡는가?
• RQ5 실제 벤치마크인 GLUE에 대해 일반화 가능성이 있으며, 단일태스크 미세조정 성능에 근접한 성능를 유지하는가?

주요 결과

• 반사적 추정 기반 정책($\pi^{\textsc{c}}$)은 GLUE 개발 세트에서 87.0점의 점수를 기록했으며, 균일 및 데이터 크기 비례 정책을 뛰어나며, 단일태스크 미세조정 성능에 근접했다.
• GLUE 테스트 세트에서 $\pi^{\textsc{c}}$를 사용한 MTL 모델은 77.9점의 점수를 기록했으며, 단일태스크 미세조정 BERT 점수 78.3점과 매우 유사했다.
• 학습된 정책는 낮은 데이터 볼륨에도 불구하고 CoLA, RTE, MRPC와 같은 소규모 태스크에 더 높은 샘플링 확률을 할당함으로써 효과적인 반-커리큘럼 행동을 보였다.
• STS-B와 SST-2는 훈련 세트 크기에서 10배의 차이가 있지만, 각각 0.102와 0.094의 유사한 샘플링 확률을 받았으며, 이는 정책가 데이터 크기 외의 태스크 난이도를 포착함을 보여준다.
• RTE에서 성능가 크게 향상되었으며(74.5 vs. 66.4), QNLI와 SST-2에서도 경쟁 가능한 결과를 유지했다.
• 효과적인 정책를 학습하기 위해 단지 네 번의 훈련 실행(하이퍼파ram터 튜닝 포함)만으로도 충분했으며, 정책 최적화의 샘플 효율성을 입증했다.