[논문 리뷰] Multi-Task Deep Neural Networks for Natural Language Understanding

Xiaodong Liu, Pengcheng He외 2명|arXiv (Cornell University)|2019. 01. 31.

Topic Modeling참고 문헌 34인용 수 220

한 줄 요약

MT-DNN은 다중 태스크 학습과 사전 학습된 Transformer 인코더를 결합하여 보편적인 언어 표현을 학습하고 GLUE에서 최첨단 성능 및 SNLI 및 SciTail 도메인 적응 이점을 달성한다.

ABSTRACT

In this paper, we present a Multi-Task Deep Neural Network (MT-DNN) for learning representations across multiple natural language understanding (NLU) tasks. MT-DNN not only leverages large amounts of cross-task data, but also benefits from a regularization effect that leads to more general representations in order to adapt to new tasks and domains. MT-DNN extends the model proposed in Liu et al. (2015) by incorporating a pre-trained bidirectional transformer language model, known as BERT (Devlin et al., 2018). MT-DNN obtains new state-of-the-art results on ten NLU tasks, including SNLI, SciTail, and eight out of nine GLUE tasks, pushing the GLUE benchmark to 82.7% (2.2% absolute improvement). We also demonstrate using the SNLI and SciTail datasets that the representations learned by MT-DNN allow domain adaptation with substantially fewer in-domain labels than the pre-trained BERT representations. The code and pre-trained models are publicly available at https://github.com/namisan/mt-dnn.

연구 동기 및 목표

• 관련 NLU 태스크 간 표현 공유를 위한 다중 태스크 학습 활용
• universal 텍스트 표현을 위한 다중 태스크 객체를 가진 사전 학습된 Transformer 기반 인코더 통합
• GLUE, SNLI, SciTail 벤치마크에서 강력한 성능 시연
• 도메인 내 라벨링 데이터가 제한된 상황에서 도메인 적응 향상 보이기

제안 방법

• 공유 Lexicon Encoder 및 Transformer Encoder를 사용하여 태스크 간 맥락화된 표현 생성
• 공유 인코더에 태스크 특화 출력 모듈(분류, 유사도, 랭킹) 부착
• 사전 학습(마스킹된 LM 및 NSP) 및 GLUE 태스크를 통한 다중 태스크 미세조정의 2단계 절차로 학습
• 분류(교차 엔트로피), 회귀(MSE), 랭킹(쌍별 손실) 등 태스크 특화 손실 함수 채택
• 쌍별 텍스트 분류 태스크(NLI)를 위한 SAN 기반 다중 단계 추론 모듈 incorporated
• 다중 태스크 객체로 초기화된 공유 계층(BERT LARGE)을 미세조정하여 MT-DNN 얻음

실험 결과

연구 질문

• RQ1 다중 태스크 학습이 태스크별 모델을 넘어 다양한 NLU 태스크의 일반화에 어떤 기여를 하는가?
• RQ2 BERT와 같은 사전 학습 언어 모델과 다중 태스크 학습의 결합이 GLUE 태스크 전반의 성능에 미치는 영향은 무엇인가?
• RQ3 매우 제한된 도메인 라벨링 데이터에서도 MT-DNN이 효과적 도메인 적응을 가능하게 하는가?
• RQ4 NLI 및 QA 스타일 태스크에서 어떤 아키텍처 구성요소(SAN 모듈, 랭킹 형식화 등)가 이익에 가장 크게 기여하는가?

주요 결과

CoLA	SST-2	MRPC	STS-B	QQP	MNLI-m/mm	QNLI	RTE	WNLI	AX	Score
62.5	95.6	91.1/88.2	89.5/88.8	72.7/89.6	86.7/86.0	93.1	81.4	65.1	40.3	82.7
60.5	94.9	89.3/85.4	87.6/86.5	72.1/89.3	86.7/85.9	92.7	70.1	65.1	39.6	80.5

• MT-DNN은 9개 중 8개 태스크에서 새로운 최첨단 결과를 달성하며 전체 GLUE 점수 82.7%에 도달한다.
• MT-DNN은 도메인 적응을 크게 향상시켜 SNLI 91.6%, SciTail 95.0%를 전체 학습 데이터로 달성하며 MT-DNN LARGE 사용 시 큰 이점을 보인다.
• MT-DNN은 도메인 내 데이터가 제한된 태스크에서 지속적으로 BERT를 능가하며 다중 태스크 학습의 정규화 및 전이 이점을 강조한다.
• 미세조정 없이도 MT-DNN은 대부분의 GLUE 태스크에서 BERT LARGE를 상회하며 CoLA는 데이터 세트 특성상 예외임.
• ST-DNN 변형은 태스크 특화 출력 모듈 및 손실 형식이(예: QNLI의 랭킹) BERT 베이스라인을 넘어서는 이익의 핵심임을 보여준다.
• MT-DNN은 매우 적은 라벨 데이터셋(0.1%–1%)으로도 강력한 도메인 적응을 가능하게 하며 BERT 대비 큰 정확도 이득을 보여준다.