[논문 리뷰] Should We Be Pre-training? An Argument for End-task Aware Training as an Alternative

Lucio M. Dery, Paul Michel외 2명|arXiv (Cornell University)|2021. 09. 15.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 논문은 기존의 종류에 관계없이 계속되는 사전학습을 종류에 따라 맞춤형으로 학습하는 다중작업 학습(MT-TARTAN) 및 메타학습(META-TARTAN)을 통한 종류 인지 학습으로 대체함으로써, 자원이 제한된 NLP 작업에서 하류 성능과 데이터 효율성에 상당한 향상을 이룩한다. 이 방법은 보조 목표와 종류 목표를 동시에 최적화하여, 광범위한 초모수 조정 없이도 표준 사전학습 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In most settings of practical concern, machine learning practitioners know in advance what end-task they wish to boost with auxiliary tasks. However, widely used methods for leveraging auxiliary data like pre-training and its continued-pretraining variant are end-task agnostic: they rarely, if ever, exploit knowledge of the target task. We study replacing end-task agnostic continued training of pre-trained language models with end-task aware training of said models. We argue that for sufficiently important end-tasks, the benefits of leveraging auxiliary data in a task-aware fashion can justify forgoing the traditional approach of obtaining generic, end-task agnostic representations as with (continued) pre-training. On three different low-resource NLP tasks from two domains, we demonstrate that multi-tasking the end-task and auxiliary objectives results in significantly better downstream task performance than the widely-used task-agnostic continued pre-training paradigm of Gururangan et al. (2020). We next introduce an online meta-learning algorithm that learns a set of multi-task weights to better balance among our multiple auxiliary objectives, achieving further improvements on end-task performance and data efficiency.

연구 동기 및 목표

• 목표 작업이 사전에 알려진 자원이 제한된 NLP 환경에서 종류에 관계없는 사전학습의 관행을 도전한다.
• 표준 계속 사전학습의 비효율성과 초모수 민감성 문제를 해결하기 위해 종류 목표를 직접 학습 과정에 통합한다.
• 보조 목표와 종류 목표를 균형 있게 조정하는 다중작업 학습을 통해 데이터 효율성과 하류 성능을 향상시킨다.
• 다양한 목표의 가중치를 자동으로 조정하는 메타학습 기반 방법을 개발하여 종류 성능을 추가로 향상시킨다.
• 수동적인 사전학습 스케줄링에 의존하는 것을 줄이고, 검증 기반 초모수 조정이 필요한 것을 제거한다.

제안 방법

• 사전학습 중에 마스크된 언어 모델링 목표와 종류 목표를 동시에 최적화하는 다중작업 학습 프레임워크인 MT-TARTAN을 제안한다.
• 종류 검증 손실을 최소화함으로써 동적 다중작업 가중치를 학습하는 온라인 메타학습 알고리즘인 META-TARTAN을 도입한다.
• 메타목표를 계산하기 위해 별도의 모델 헤드를 사용하여 모델이 보조 작업을 忽시하고 종류 작업에만 집중하는 것을 방지한다.
• 성능을 유지하면서 계산 비용을 줄이기 위해 메타학습에서 일阶 근사를 적용한다.
• 기존의 사전학습 모델을 초기화로 사용하여 두 도메인의 자원이 제한된 NLP 작업에 이 방법을 적용한다.
• 내부 루프는 병합된 목표로 학습하고 외부 루프는 종류 성능에 따라 메타가중치를 업데이트하는 이중 최적화 설정을 사용한다.

실험 결과

연구 질문

• RQ1 다중작업 학습을 통한 종류 인지 학습이 자원이 제한된 NLP 환경에서 표준 종류에 관계없는 계속 사전학습보다 우수한 성능을 낼 수 있는가?
• RQ2 보조 목표와 종류 목표를 동시에 최적화하는 것이 순차적 사전학습과 미세조정 대비 데이터 효율성과 최종 성능 향상에 기여하는가?
• RQ3 메타학습을 사용하여 여러 보조 목표와 종류 목표를 자동으로 균형 있게 조정함으로써 일반화 능력과 강인성을 향상시킬 수 있는가?
• RQ4 이 맥락에서 메타학습의 실패 모드는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 종류 인지 학습은 광범위한 초모수 조정과 수동적인 사전학습 스케줄링이 필요한가?

주요 결과

• MT-TARTAN은 세 가지 자원이 제한된 NLP 작업에서 Gururangan 등(2020)의 표준 계속 사전학습 방법보다 유의미하게 뛰어난 하류 성능을 달성한다.
• 제안된 방법은 기존의 사전학습 접근 방식에 비해 더 적은 학습 데이터로도 더 나은 성능을 낼 수 있도록 데이터 효율성을 향상시킨다.
• META-TARTAN은 메타학습을 통해 동적 다중작업 가중치를 학습함으로써 MT-TARTAN보다 더 높은 성능을 달성한다.
• 메타목표를 위한 별도의 헤드 사용은 메타학습에서 흔히 발생하는 보조 작업을 忽시하는 해법으로의 붕괴를 방지한다.
• 메타최적화가 종류 검증 성능을 직접 최적화하므로 수동적인 초모수 조정에 대한 의존도가 감소한다.
• 실험 결과는 종류 인지 학습이 전통적인 사전학습 파이프라인보다 더 우수한 일반화 능력과 더 안정적인 학습 동역학을 제공함을 보여준다.