[논문 리뷰] Train No Evil: Selective Masking for Task-Guided Pre-Training

Yuxian Gu, Zhengyan Zhang외 3명|arXiv (Cornell University)|2020. 04. 21.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 일반적 사전 훈련과 미세조정 사이에 작업 지도형 사전 훈련 단계를 삽입하는 삼단계 훈련 프레임워크를 제안한다. 학습된 중요도 점수를 사용하여 도메인 내 데이터에서 작업에 핵심적인 토큰을 식별하고 마스킹함으로써, 표준 사전 훈련 대비 계산 비용의 50% 미만으로 감성 분석 작업에서 성능을 향상시킨다.

ABSTRACT

Recently, pre-trained language models mostly follow the pre-train-then-fine-tuning paradigm and have achieved great performance on various downstream tasks. However, since the pre-training stage is typically task-agnostic and the fine-tuning stage usually suffers from insufficient supervised data, the models cannot always well capture the domain-specific and task-specific patterns. In this paper, we propose a three-stage framework by adding a task-guided pre-training stage with selective masking between general pre-training and fine-tuning. In this stage, the model is trained by masked language modeling on in-domain unsupervised data to learn domain-specific patterns and we propose a novel selective masking strategy to learn task-specific patterns. Specifically, we design a method to measure the importance of each token in sequences and selectively mask the important tokens. Experimental results on two sentiment analysis tasks show that our method can achieve comparable or even better performance with less than 50% of computation cost, which indicates our method is both effective and efficient. The source code of this paper can be obtained from https://github.com/thunlp/SelectiveMasking.

연구 동기 및 목표

• 사전 훈련된 언어 모델에서 작업 무관성 사전 훈련과 데이터 부족에 의한 미세조정의 한계를 해결한다.
• 사전 훈련 단계에서 도메인 특화 및 작업 특화 패턴을 포착함으로써 최종 작업에서의 모델 성능을 향상시킨다.
• 임의의 마스킹 대신 의미적으로 중요한 토큰에 집중함으로써 사전 훈련의 계산 비용을 줄인다.
• 도메인 내 데이터에 대한 완전한 감독 없이도 최종 작업 데이터를 활용하여 도메인 내 사전 훈련을 이끄는 선택적 마스킹 전략을 개발한다.

제안 방법

• 일般 사전 훈련, 선택적 마스킹를 적용한 작업 지도형 사전 훈련, 그리고 미세조정으로 구성된 삼단계 훈련 프레임워크를 도입한다.
• 도메인 특화 패턴을 학습하기 위해 도메인 내 비지도 데이터(예: Yelp 리뷰)를 사용하여 작업 지도형 사전 훈련을 수행한다.
• 최종 작업 데이터의 지도 학습을 통해 각 토큰에 대한 작업 특화 중요도 점수를 정의하여 핵심 토큰을 식별한다.
• 최종 작업 데이터에서 신경망을 학습하여 암묵적인 토큰 선택 규칙을 학습함으로써, 도메인 내 데이터에서 중요 토큰을 비지도 방식으로 선별할 수 있도록 한다.
• 마스크된 언어 모델링 동안 선택적 마스킹을 적용: 중요도 점수가 낮은 토큰들만 마스킹하여 핵심 토큰으로부터의 학습에 집중한다.
• 학습된 중요도 모델을 활용해 중간 규모의 도메인 내 데이터에서 마스킹을 이끌어내며, 사전 훈련 중에 완전한 감독에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 선택적 마스킹를 적용한 작업 지도형 사전 훈련이 표준 사전 훈련-미세조정 방식보다 최종 작업 성능을 향상시키는가?
• RQ2 중요 토큰에 대한 선택적 마스킹가 임의의 마스킹보다 더 높은 모델 효율성과 효과를 제공하는가?
• RQ3 도메인 내 데이터와 최종 작업 데이터 간의 유사성이 작업 지도형 사전 훈련의 성능에 미치는 영향은 어떠한가?
• RQ4 제한된 지도 학습 데이터로 훈련된 모델이 도메인 내 비지도 데이터에 일반화되는 중요한 토큰을 식별할 수 있는가?

주요 결과

• 제안된 방법은 계산 비용의 50퍼센트 미만으로 표준 사전 훈련과 비교해 유사하거나 더 높은 성능을 달성한다.
• SemEval14-Rest + Yelp 설정에서, 모델은 훈련 단계를 반으로 줄였음에도 불구하고 완전히 사전 훈련된 BERT_BASE보다 1.4% 높은 성능을 기록한다.
• 선택적 마스킹는 도메인 데이터가 최종 작업과 유사하지 않은 경우를 포함한 모든 설정에서 임의 마스킹 대비 성능 향상을 일관되게 보여준다.
• MR+Yelp 설정에서는 도메인 불일치가 높은 상황에서도 선택적 마스킹가 임의 마스킹 대비 0.95% 향상된 성능을 기록하여 도메인 이동에 대한 강건성을 입증한다.
• 사례 연구 결과, 이 방법은 지도 학습 및 비지도 데이터에서 감성에 핵심적인 토큰(예: 'funny', 'awsum', 'like')을 성공적으로 식별함을 확인했다.
• 선택적 마스킹를 적용한 작업 지도형 사전 훈련은 전체 사전 훈련 없이 작업 지도 없이 수행된 경우와 비교해 4개 설정 중 3개에서 통계적으로 유의미한 향상(α < .05 또는 α < .001)을 이룬다.