[논문 리뷰] Domain adaptive training BERT for response selection

Taesun Whang, Dongyub Lee외 4명|arXiv (Cornell University)|2019. 08. 13.

Topic Modeling참고 문헌 14인용 수 29

한 줄 요약

이 논문은 검색 기반 대화 시스템에서 다중 전환 응답 선택을 위해 BERT의 도메인 적응형 미세조정을 제안한다. Ubuntu Corpus 및 상담 Corpus와 같은 도메인 특화 코퍼스에서 BERT를 후기훈련함으로써 모델은 도메인 특화된 문맥 표현을 학습하게 되며, 두 개의 기준 데이터셋에서 Recall@1에 각각 5.9%와 6%의 상대적 향상을 이룩하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We focus on multi-turn response selection in a retrieval-based dialog system. In this paper, we utilize the powerful pre-trained language model Bi-directional Encoder Representations from Transformer (BERT) for a multi-turn dialog system and propose a highly effective post-training method on domain-specific corpus. Although BERT is easily adopted to various NLP tasks and outperforms previous baselines of each task, it still has limitations if a task corpus is too focused on a certain domain. Post-training on domain-specific corpus (e.g., Ubuntu Corpus) helps the model to train contextualized representations and words that do not appear in general corpus (e.g.,English Wikipedia). Experiment results show that our approach achieves new state-of-the-art on two response selection benchmark datasets (i.e.,Ubuntu Corpus V1, Advising Corpus) performance improvement by 5.9% and 6% on Recall@1.

연구 동기 및 목표

• 일반 도메인 사전 훈련된 BERT가 도메인 특화된 대화 코퍼스를 다루는 데에 한계가 있음을 해결한다.
• 도메인 특화된 어휘와 문맥이 핵심적인 다중 전환 대화 시스템에서의 응답 선택 성능을 향상시킨다.
• 다시 훈련 없이도 도메인 특화된 언어 패턴에 BERT를 적응시키기 위한 후기훈련 전략을 개발한다.
• 도메인 적응형 미세조정을 통해 표준 응답 선택 기준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• Ubuntu Corpus 및 상담 Corpus와 같은 도메인 특화 대화 코퍼스에서 BERT의 후기훈련(지속적 사전 훈련)을 적용한다.
• 대조 학습 목표를 사용하여 도메인 적응형 BERT 모델을 응답 선택 작업에 대해 미세조정한다.
• 도메인 특화 후기훈련 기간 동안 마스킹 언어 모델링 및 다음 문장 예측 목표를 활용한다.
• BERT의 양방향 어텐션을 활용하여 다중 전환 대화 기록과 후보 응답의 문맥 표현을 학습한다.
• 일반 도메인 사전 훈련된 BERT 아키텍처를 유지하면서 도메인 특화된 어휘와 어구 패턴에 적응시킨다.
• 일반 코퍼스(예: 영어 위키백과)에 존재하지 않는 희귀 또는 도메인 특화 토큰의 표현을 향상시키기 위해 도메인 특화 데이터로 훈련한다.

실험 결과

연구 질문

• RQ1 도메인 특화 대화 코퍼스에서 BERT를 후기훈련하면 다중 전환 대화 시스템에서 응답 선택 성능이 향상되는가?
• RQ2 일반 도메인 사전 훈련된 BERT에 대한 표준 미세조정과 비교해 도메인 적응형 미세조정은 응답 선택에 있어 어떻게 성능을 높이는가?
• RQ3 도메인 특화 후기훈련이 모델의 문맥과 도메인 특화 용어를 포착하는 능력을 얼마나 향상시키는가?
• RQ4 도메인 적응이 표준 응답 선택 기준 벤치마크에서 측정 가능한 성능 향상으로 이어지는가?

주요 결과

• 제안된 도메인 적응형 훈련 방법은 Ubuntu Corpus V1 기준 벤치마크에서 Recall@1에 5.9%의 상대적 향상을 달성한다.
• 상담 코퍼스에서는 Recall@1에 6%의 상대적 향상을 달성하여 다양한 도메인에서 일관된 성과 향상을 입증한다.
• 이전 최신 기술 수준의 방법보다 모델 성능이 뛰어나며, 도메인 특화 후기훈련의 효과성을 확인한다.
• 도메인 적응형 미세조정은 일반 도메인 사전 훈련 데이터에 존재하지 않는 도메인 특화 언어 패턴과 희귀 토큰을 더 잘 포착할 수 있도록 한다.
• 도메인 특화 코퍼스가 일반 도메인 코퍼스보다 작을 경우에도 효과적이며, 이는 샘플 효율성을 강조한다.
• 성능 향상 요인은 도메인 특화 단어와 대화 구조의 개선된 문맥 표현에 기인한다.