[논문 리뷰] ToD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogues

Chien-Sheng Wu, Steven C. H. Hoi외 2명|arXiv (Cornell University)|2020. 04. 15.

Topic Modeling참고 문헌 40인용 수 53

한 줄 요약

ToD-BERT는 다수의 공개된 다중 전환 인공지능 대화 데이터셋을 기반으로 사전 훈련된 언어 모델로, 대화 시스템에서의 데이터 부족 문제를 해결하기 위해 개발되었다. 이 모델은 네 가지 종류의 대화 기반 자연어 처리 작업에서 BERT 및 강력한 기준 모델을 능가하며, 우수한 소수 샘플 일반화 능력을 보이며 데이터 부족 문제를 효과적으로 완화한다.

ABSTRACT

The use of pre-trained language models has emerged as a promising direction for improving dialogue systems. However, the underlying difference of linguistic patterns between conversational data and general text makes the existing pre-trained language models not as effective as they have been shown to be. Recently, there are some pre-training approaches based on open-domain dialogues, leveraging large-scale social media data such as Twitter or Reddit. Pre-training for task-oriented dialogues, on the other hand, is rarely discussed because of the long-standing and crucial data scarcity problem. In this work, we combine nine English-based, human-human, multi-turn and publicly available task-oriented dialogue datasets to conduct language model pre-training. The experimental results show that our pre-trained task-oriented dialogue BERT (ToD-BERT) surpasses BERT and other strong baselines in four downstream task-oriented dialogue applications, including intention detection, dialogue state tracking, dialogue act prediction, and response selection. Moreover, in the simulated limited data experiments, we show that ToD-BERT has stronger few-shot capacity that can mitigate the data scarcity problem in task-oriented dialogues.

연구 동기 및 목표

• 대화 시스템에서의 데이터 부족 문제를 해결하기 위해 대규모 공개 대화 데이터셋을 활용한다.
• 일반 목적의 사전 훈련 모델인 BERT와 같은 모델들은 언어적 차이로 인해 작업 중심 대화에 덜 효과적이므로 이를 극복한다.
• 작업 중심 대화의 언어적 패턴에 맞게 특화된 사전 훈련 모델을 개발하여 후속 작업 성능을 향상시킨다.
• 저자원 대화 환경에서 큰 레이블이 부여된 데이터셋에 의존도를 줄이기 위해 모델의 소수 샘플 학습 능력을 입증한다.

제안 방법

• 아홉 개의 영어 기반 다중 전환 인공지능 대화 데이터셋을 통합하여 통합된 사전 훈련 코퍼스를 구성한다.
• 이러한 정제된 대화 코퍼스를 기반으로 BERT 아키텍처를 마스크 언어 모델링 및 다음 문장 예측 목적함수를 사용하여 미세조정한다.
• 다양한 도메인을 포함한 다양한 대화 데이터를 활용하여 작업 중심 대화의 언어 패턴을 포괄한다.
• 대화 특화된 맥락과 전환 수준의 구조에 적합하게 표준 사전 훈련 목적함수(MLM 및 NSP)를 조정 적용한다.
• 사용자 의도 탐지, 대화 상태 추적, 대화 액트 예측, 응답 선택의 네 가지 후속 작업 중심 대화 작업에서 결과 모델인 ToD-BERT를 평가한다.
• 기존 모델과의 성능 비교를 위해 저자원 환경을 시뮬레이션한 실험을 수행하여 소수 샘플 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 다양하고 공개된 작업 중심 대화 데이터로 사전 훈련된 언어 모델이 의도 탐지, 대화 상태 추적, 대화 액트 예측, 응답 선택 등의 후속 작업에서 일반 목적 모델인 BERT보다 성능이 뛰어나게 되는가?
• RQ2 ToD-BERT는 소수 샘플 학습 능력을 향상시켜 저자원 대화 환경에서의 데이터 부족 문제를 어느 정도 완화하는가?
• RQ3 작업 중심 대화 데이터로 사전 훈련하면 의도 탐지, 대화 상태 추적, 대화 액트 예측, 응답 선택 성능이 어떻게 향상되는가?
• RQ4 작업 중심 대화의 언어적 특수성은 일반 도메인 사전 훈련이 아닌 도메인 특화 사전 훈련이 필요하다는 것을 의미하는가?

주요 결과

• ToD-BERT는 의도 탐지, 대화 상태 추적, 대화 액트 예측, 응답 선택의 네 가지 후속 작업에서 BERT 및 다른 강력한 기준 모델을 모두 능가한다.
• 저자원 시나리오를 시뮬레이션한 실험에서 ToD-BERT는 더 뛰어난 소수 샘플 일반화 능력을 보이며, 작업 중심 대화 시스템에서의 데이터 부족 문제 완화에 효과적임을 시사한다.
• 도메인 특화된 대화 패턴으로 사전 훈련한 덕분에 평가된 작업 중심 대화 벤치마크에서 최고 성능을 기록한다.
• 사전 훈련 단계에서 다양한 도메인, 다중 전환 대화 데이터를 통합함으로써 모델의 작업 중심 대화 구조 이해 능력이 크게 향상된다.
• 결과적으로 도메인 특화 사전 훈련이 작업 중심 대화에 유리하다는 것이 확인되었으며, 이는 이러한 대화의 언어적 및 구조적 특징을 더 잘 포착하기 때문이다.
• ToD-BERT의 성능 향상은 여러 평가 작업에서 일관되게 나타나, 다양한 대화 응용 분야로의 탄력성과 이식 가능성의 우수성을 입증한다.