[논문 리뷰] Multi-Stage Pre-training for Low-Resource Domain Adaptation

Rong Zhang, Revanth Gangi Reddy외 8명|arXiv (Cornell University)|2020. 10. 12.

Topic Modeling참고 문헌 10인용 수 13

한 줄 요약

이 논문은 자연어 처리(NLP) 분야에서 자원이 부족한 도메인에 적합한 다단계 사전 훈련 방법을 제안한다. RoBERTa-large 모델을 도메인 전용 용어로 확장된 어휘로 개선하고, 비라벨 구조화된 데이터에서 유도된 합성 사전 훈련 작업을 생성함으로써 성능을 햖थ. 이 방법은 도메인 전용 어휘와 데이터의 내재된 구조에서 유도된 보조 작업을 활용함으로써 뚜렷한 성능 향상을 이끌어내며, 추출적 독해 이해 과제에서 최대 2.8 F1 포인트, 문서 랭킹 과제에서 2.9 Match@1 향상이 이루어졌다.

ABSTRACT

Transfer learning techniques are particularly useful in NLP tasks where a sizable amount of high-quality annotated data is difficult to obtain. Current approaches directly adapt a pre-trained language model (LM) on in-domain text before fine-tuning to downstream tasks. We show that extending the vocabulary of the LM with domain-specific terms leads to further gains. To a bigger effect, we utilize structure in the unlabeled data to create auxiliary synthetic tasks, which helps the LM transfer to downstream tasks. We apply these approaches incrementally on a pre-trained Roberta-large LM and show considerable performance gain on three tasks in the IT domain: Extractive Reading Comprehension, Document Ranking and Duplicate Question Detection.

연구 동기 및 목표

• 라벨이 부족하고 사전 훈련된 언어 모델에 도메인 전용 용어가 포함되어 있지 않은 경우에 발생하는 자원이 부족한 도메인 적응 문제를 해결한다.
• IT와 같은 전문 도메인에서의 어휘 외부 단어(OOV) 문제를 해결하기 위해 사전 훈련된 모델의 어휘를 도메인 내 용어로 확장한다.
• 질문-답변 쌍이나 템플릿 기반 문서와 같은 비라벨 도메인 데이터의 암묵적 구조를 활용하여 보조 합성 사전 훈련 작업을 생성한다.
• 추출적 독해 이해, 문서 랭킹, 중복 질문 탐지와 같은 자원이 부족한 과제에서 점진적 적응을 통해 최종 성능을 향상시킨다.
• 어휘 확장, 합성 사전 훈련, 데이터 증강의 조합이 표준 미세조정보다 일관되고 뚜렷한 성능 향상을 이끌어내는지 입증한다.

제안 방법

• 기술노트와 AskUbuntu 게시물과 같은 비라벨 IT 도메인 텍스트에서 추출한 10,000개의 도메인 전용 서브워드 토큰을 RoBERTa-large 어휘에 추가한다.
• 구조적 패턴을 활용하여 합성 사전 훈련 데이터를 구성한다: TechQA의 경우 질문-문서 세트에서 양음성 문서 쌍을 생성하고, AskUbuntu의 경우 알려진 중복 상태가 있는 질문 쌍을 사용한다.
• 라벨이 없는 예시 없이도 작업 관련 표현을 학습할 수 있도록, 마스크된 언어 모델링을 사용하여 합성 데이터에서 수정된 RoBERTa 모델을 사전 훈련한다.
• 매우 자원이 부족한 TechQA 데이터셋에 대해 단어 제거, 쿼리 자르기, 정지어 제거, 제목 생략과 같은 변형을 적용하여 훈련 세트 크기를 10배로 증가시킨다.
• 표준 교차 엔트로피 손실을 사용하여 최종 모델을 최종 과제에 대해 미세조정하고, F1, HA_F1, Match@1, MAP와 같은 표준 지표로 평가한다.
• 다단계 훈련 파이프라인을 사용한다: 먼저 어휘를 확장하고, 그 다음 합성 데이터에서 사전 훈련을 수행하고, 마지막으로 라벨이 있는 데이터에서 미세조정을 수행하며, 데이터 증강은 TechQA 설정에서만 적용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델의 어휘를 도메인 전용 용어로 확장하면 자원이 부족한 NLP 과제에서 성능이 향상되는가?
• RQ2 비라벨 구조화된 도메인 데이터(예: 질문-답변 쌍 또는 문서 템플릿)에서 유도된 합성 사전 훈련 과제는 전이 학습 성능을 향상시키는가?
• RQ3 매우 자원이 부족한 환경(예: 600개의 훈련 예제만 있는 TechQA)에서 단순한 변형을 통한 데이터 증강은 얼마나 효과적인가?
• RQ4 어휘 확장, 합성 사전 훈련, 데이터 증강의 조합이 RoBERTa-large에서 표준 미세조정보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ5 적응된 모델의 성능은 IT 도메인의 추출적 독해 이해, 문서 랭킹, 중복 질문 탐지 과제에서 강력한 베이스라인과 비교해 어떻게 되는가?

주요 결과

• RoBERTa-large의 어휘에 도메인 전용 서브워드 토큰 10,000개를 추가함으로써 TechQA 추출적 독해 이해 과제에서 HA_F1이 1.7 포인트 향상되었다.
• RC 스타일 데이터(양음성 문서 쌍)에서의 합성 사전 훈련은 TechQA-RC 과제에서 HA_F1에 2.8 포인트, F1에 0.5 포인트 향상시켰다.
• TechQA-RC 과제에서 데이터 증강은 HA_F1과 F1에 각각 약 1포인트 향상시켰으며, 극도로 자원이 부족한 환경에서의 효과성을 입증했다.
• TechQA-DR 문서 랭킹 과제에서 합성 사전 훈련은 표준 언어 모델링 대비 Match@1을 2.9 포인트 향상시켰으며, 보조 과제에서의 강력한 전이 성능을 보였다.
• AskUbuntu-DQD에서 최종 모델은 모든 지표에서 RoBERTa-large 베이스라인을 능가했으며, 가장 큰 성과(10% 이상의 상대적 향상)는 합성 사전 훈련에서 유래했다.
• 어휘 확장, 합성 사전 훈련, 데이터 증강의 통합 접근 방식은 모든 세 과제에서 가장 뛰어난 성능을 기록했으며, 표준 미세조정을 크게 능가했다.