[논문 리뷰] Fine-Tuning BERT for Schema-Guided Zero-Shot Dialogue State Tracking

Yu-Ping Ruan, Zhen-Hua Ling외 2명|arXiv (Cornell University)|2020. 02. 01.

Topic Modeling참고 문헌 12인용 수 16

한 줄 요약

이 논문은 BERT를 사전 훈련하여 미리 정의된 스키마를 기반으로 한 zero-shot 대화 상태 추적을 위한 SGP-DST 시스템을 제안한다. 이 시스템은 의도 예측, 슬롯 채우기, 슬롯 전이, 사용자 상태 요약의 네 가지 모듈을 포함한다. 이 시스템은 DSTC8-Track 4 벤치마크에서 통합 목표 정확도 3위, 요청된 슬롯 F1 점수 1위를 기록하여 미리보지 않은 API에 대한 강력한 일반화 능력을 입증하였다.

ABSTRACT

We present our work on Track 4 in the Dialogue System Technology Challenges 8 (DSTC8). The DSTC8-Track 4 aims to perform dialogue state tracking (DST) under the zero-shot settings, in which the model needs to generalize on unseen service APIs given a schema definition of these target APIs. Serving as the core for many virtual assistants such as Siri, Alexa, and Google Assistant, the DST keeps track of the user's goal and what happened in the dialogue history, mainly including intent prediction, slot filling, and user state tracking, which tests models' ability of natural language understanding. Recently, the pretrained language models have achieved state-of-the-art results and shown impressive generalization ability on various NLP tasks, which provide a promising way to perform zero-shot learning for language understanding. Based on this, we propose a schema-guided paradigm for zero-shot dialogue state tracking (SGP-DST) by fine-tuning BERT, one of the most popular pretrained language models. The SGP-DST system contains four modules for intent prediction, slot prediction, slot transfer prediction, and user state summarizing respectively. According to the official evaluation results, our SGP-DST (team12) ranked 3rd on the joint goal accuracy (primary evaluation metric for ranking submissions) and 1st on the requsted slots F1 among 25 participant teams.

연구 동기 및 목표

• 사전에 정의된 서비스 API가 없는 상황에서 작업 지향 대화에서 zero-shot 대화 상태 추적(DST)에 도전하는 문제를 해결하기 위해.
• 스키마 정의에 포함된 자연어 기술을 활용하여 자원이 제한되거나 새로운 도메인에서의 일반화 능력을 향상시키기 위해.
• BERT의 미세조정과 스키마 기반 감독을 활용한 종단 간 대화 상태 추적 시스템을 개발하기 위해.
• 슬롯 전이 예측과 소수의 예제를 활용한 미세조정이 zero-shot 성능 향상에 기여하는지 평가하기 위해.

제안 방법

• 스키마에서 정의된 의도와 슬롯 설명을 기반으로 대화 데이터에 대해 BERT를 미세조정하여 zero-shot 일반화를 가능하게 하였다.
• 네 모듈로 구성된 파이프라인 설계: (1) 의도 예측, (2) 슬롯 값 및 요청된 슬롯 예측, (3) 동일 도메인 및 크로스 도메인 슬롯 전이 예측, (4) 사용자 상태 요약.
• 스키마 정의에서 제공하는 슬롯과 의도의 자연어 기술을 미세조정 과정에서 맥락적 신호로 활용하였다.
• 개발 세트에서 소수의 레이블이 부여된 예시를 훈련에 포함하여 소수의 예제 학습을 시뮬레이션하고 zero-shot 일반화 능력을 향상시켰다.
• 전체 훈련 세트로 모델을 훈련하고, 테스트 세트에서 미리보지 않은 API를 대상으로 평가하여 zero-shot 일반화 능력을 평가하였다.
• 조기 정지와 모델 평균화를 적용하여 미세조정 과정에서의 강인성 향상과 과적합 방지를 도모하였다.

실험 결과

연구 질문

• RQ1 스키마 기술을 활용해 미세조정한 BERT가 새로운 서비스 API에 대해 zero-shot 대화 상태 추적에서 효과적으로 일반화할 수 있는가?
• RQ2 슬롯 전이 예측의 포함 여부가 새로운 도메인에서의 성능 향상에 어떤 영향을 미치는가?
• RQ3 개발 세트의 샘플을 활용한 소수의 예제 미세조정이 새로운 API에 대한 zero-shot 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 슬롯 값 예측과 의도 및 요청된 슬롯 예측 간에, 보이는 API와 보이지 않는 API에서의 성능 격차는 어느 정도인가?

주요 결과

• SGP-DST 시스템은 DSTC8-Track 4 테스트 세트에서 25개 팀 중 통합 목표 정확도 3위, 요청된 슬롯 F1 점수 1위를 기록하였다.
• 의도 및 요청된 슬롯 예측에서 강력한 일반화 능력을 보였으며, 보이는 API와 보이지 않는 API 간 성능 저하가 최소한이었다.
• 보이지 않는 API 서브셋에서 슬롯 값 예측 성능에 심각한 성능 저하가 관찰되어 zero-shot 일반화의 핵심 과제임을 시사하였다.
• 특히 동일 도메인 전이에서 성능 향상이 두드러진 슬롯 전이 예측 모듈이 전체 성능 향상에 기여하였으며, 상태 추적에서의 중요성을 입증하였다.
• 개발 세트의 90%를 활용한 소수의 예제 미세조정은 보이지 않는 API에서 통합 목표 정확도를 향상시켰지만, 개발 세트의 100%를 사용한 미세조정은 테스트 세트에서 성능 저하로 이어져 과적합이 발생한 것으로 나타났다.
• 개발 샘플의 90%로 훈련한 결과, 테스트 세트에서 통합 목표 정확도 0.9260, 평균 목표 정확도 0.9199를 기록하여 참가자 중 각각 3위와 5위를 기록하였다.