[논문 리뷰] Task-specific Objectives of Pre-trained Language Models for Dialogue Adaptation

Junlong Li, Zhuosheng Zhang외 3명|arXiv (Cornell University)|2020. 09. 10.

Topic Modeling참고 문헌 45인용 수 20

한 줄 요약

이 논문은 대화 중심 언어 모델을 위한 작업 특화 사전 훈련 방법인 대화 적응형 사전 훈련 목표(DAPO)를 제안한다. 대화 품질 측정 기준을 목표로 하여 도메인 내 대화 코퍼스에서 사전 훈련을 수행함으로써, DAPO는 모델의 대화 특화 기능 이해를 향상시켜 일반 언어 모델 사전 훈련과 강력한 베이스라인에 비해 하류 대화 NLP 작업에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Pre-trained Language Models (PrLMs) have been widely used as backbones in lots of Natural Language Processing (NLP) tasks. The common process of utilizing PrLMs is first pre-training on large-scale general corpora with task-independent LM training objectives, then fine-tuning on task datasets with task-specific training objectives. Pre-training in a task-independent way enables the models to learn language representations, which is universal to some extent, but fails to capture crucial task-specific features in the meantime. This will lead to an incompatibility between pre-training and fine-tuning. To address this issue, we introduce task-specific pre-training on in-domain task-related corpora with task-specific objectives. This procedure is placed between the original two stages to enhance the model understanding capacity of specific tasks. In this work, we focus on Dialogue-related Natural Language Processing (DrNLP) tasks and design a Dialogue-Adaptive Pre-training Objective (DAPO) based on some important qualities for assessing dialogues which are usually ignored by general LM pre-training objectives. PrLMs with DAPO on a large in-domain dialogue corpus are then fine-tuned for downstream DrNLP tasks. Experimental results show that models with DAPO surpass those with general LM pre-training objectives and other strong baselines on downstream DrNLP tasks.

연구 동기 및 목표

• 일반 사전 훈련 목표와 대화 특화 NLP 작업 간의 부적합성을 해결하기 위해.
• 표준 언어 모델링에서 간과되는 작업 특화 언어적 특성들을 통합함으로써 대화 이해를 향상시키기 위해.
• 대화 특화 표현에 맞게 사전 훈련함으로써 하류 대화 관련 NLP 작업에서의 모델 성능을 향상시키기 위해.
• 도메인 내, 작업 특화 사전 훈련을 통해 대화 인식 목표를 사용하면 표준 사전 훈련보다 더 우수한 일반화 성능을 얻을 수 있음을 입증하기 위해.

제안 방법

• 일관성, 일관성, 관련성과 같은 핵심 대화 품질 측정 기준을 바탕으로 대화 적응형 사전 훈련 목표(DAPO)를 설계하기 위해.
• 표준 마스킹 언어 모델링 대신 DAPO를 사용하여 도메인 내 대화 코퍼스에서 대규모 사전 훈련된 언어 모델을 사전 훈련하기 위해.
• 표준 사전 훈련과 미세 조정 단계 사이에 DAPO를 통합하여 모델을 대화 특화 표현에 적응시키기 위해.
• 일반 사전 훈련이 놓치는 작업 특화 언어 패턴을 포괄하기 위해 도메인 내 대화 데이터를 활용하기 위해.
• 응답 선택, 대화 상태 추적, 대화 생성과 같은 하류 대화 NLP 작업에서 DAPO를 보완한 모델을 미세 조정하기 위해.
• 기존의 PrLM 아키텍처(예: BERT 스타일)를 활용하고, 목표 함수를 대화 특화 품질 신호를 우선시하도록 수정하기 위해.

실험 결과

연구 질문

• RQ1 작업 특화 사전 훈련 목표가 일반 언어 모델링 목표에 비해 대화 모델 성능을 향상시킬 수 있는가?
• RQ2 대화 특화 품질 측정 기준이 대화 NLP 작업을 위한 사전 훈련의 효과성에 어떤 영향을 미치는가?
• RQ3 DAPO를 사용하여 도메인 내 대화 코퍼스에서 사전 훈련하면 표준 사전 훈련보다 하류 성능이 더 우수한가?
• RQ4 DAPO는 대화 모델링에서 사전 훈련과 미세 조정 간의 불일치를 어느 정도 완화하는가?

주요 결과

• DAPO로 사전 훈련된 모델들은 모든 하류 대화 NLP 작업에서 표준 언어 모델링 목표로 사전 훈련된 모델들보다 성능이 뛰어나다.
• DAPO를 보완한 모델들은 벤치마크 대화 데이터셋에서 최신 기술(SOTA) 또는 경쟁 가능한 성능을 달성한다.
• 특히 대화의 일관성과 맥락 이해가 요구되는 작업에서 성능 향상이 두드러지게 나타난다.
• 제거 실험 결과, DAPO의 대화 특화 목표가 성능 향상에 기여하고 있으며, 단지 데이터 크기나 모델 크기 때문은 아님을 확인했다.