[논문 리뷰] Goal-Oriented Multi-Task BERT-Based Dialogue State Tracker

P. A. Gulyaev, Eugenia Elistratova외 4명|arXiv (Cornell University)|2020. 02. 05.

Topic Modeling참고 문헌 21인용 수 10

한 줄 요약

이 논문은 대화 기록을 슬롯, 서비스 및 의도 설명으로 질의하는 방식으로 DST를 독해력 테스크로 재구성함으로써 목표 지향적 다중 작업 BERT 기반 대화 상태 추적기인 GOLOMB을 제안한다. 이는 사전에 계산된 스키마 임베딩 없이 스퍼널 예측과 다중 작업 학습을 활용하여 SGD 데이터셋에서 53.97%의 공동 목표 정확도를 달성하며, 예측되지 않은 도메인과 슬롯 유형으로의 제로샷 일반화를 가능하게 한다.

ABSTRACT

Dialogue State Tracking (DST) is a core component of virtual assistants such as Alexa or Siri. To accomplish various tasks, these assistants need to support an increasing number of services and APIs. The Schema-Guided State Tracking track of the 8th Dialogue System Technology Challenge highlighted the DST problem for unseen services. The organizers introduced the Schema-Guided Dialogue (SGD) dataset with multi-domain conversations and released a zero-shot dialogue state tracking model. In this work, we propose a GOaL-Oriented Multi-task BERT-based dialogue state tracker (GOLOMB) inspired by architectures for reading comprehension question answering systems. The model "queries" dialogue history with descriptions of slots and services as well as possible values of slots. This allows to transfer slot values in multi-domain dialogues and have a capability to scale to unseen slot types. Our model achieves a joint goal accuracy of 53.97% on the SGD dataset, outperforming the baseline model.

연구 동기 및 목표

• 다양한 도메인과 서비스를 포함한 가상 비서에서 제로샷 대화 상태 추적 문제를 해결하기 위해.
• 재학습이나 사전에 계산된 스키마 표현 없이도 새로운 서비스와 슬롯 유형으로의 강건한 일반화를 가능하게 하기 위해.
• 도메인 전환과 희귀 슬롯-값 쌍이 흔한 다중 도메인 대화에서 공동 목표 정확도를 향상시키기 위해.
• 자연어 설명을 사용하여 도메인 간 지식을 전이할 수 있는 확장 가능한 스키마 무관 DST 모델을 개발하기 위해.
• 오ント로지에 특화된 모델의 한계를 극복하기 위해 통합적이고 엔드 투 엔드로 트레이닝 가능한 아키텍처를 사용하기 위해.

제안 방법

• 모델은 '질문'으로 슬롯, 의도 및 서비스 설명을 구성함으로써 대화 상태 추적을 독해력 테스크로 간주한다.
• 대화 기록과 스키마 설명을 함께 인코딩하기 위해 BERT 인코더를 사용하며, 분류 및 슈퍼널 예측을 위한 특수 토큰(u_cls, u_pv, u_int)을 활용한다.
• 범주형 슬롯 값에 대해서는 가능한 값 목록에서 정확한 값을 예측하기 위해 특수 [pv] 토큰을 사용하여 CLS 풀링보다 성능을 향상시킨다.
• 의도 분류, 요청된 슬롯 예측, 슬롯 값 예측을 다중 작업 전용 헤드를 사용하여 동시에 최적화한다.
• 더 나은 문맥 이해를 위해 SQuAD 미사전학습 BERT를 활용하지만, 이는 평균 목표 정확도를 略로 감소시킨다.
• 고정된 스키마 임베딩을 피함으로써 자연어 설명에만 의존함으로써 새로운 스키마에 대한 제로샷 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 재학습이나 사전에 계산된 스키마 표현 없이도 새로운 서비스와 슬롯 유형으로 일반화할 수 있는가?
• RQ2 DST를 독해력 테스크로 모델링할 경우 다중 도메인 대화에서 제로샷 일반화가 어떻게 향상되는가?
• RQ3 범주형 슬롯 값 예측에 특수 [pv] 토큰을 사용하는 것과 [CLS] 풀링을 사용하는 것의 영향은 무엇인가?
• RQ4 의도, 요청된 슬롯, 슬롯 값 예측을 동시에 학습하는 다중 작업 학습이 공동 목표 정확도에 어떤 영향을 미치는가?
• RQ5 도메인 이질성의 영향이 있을 수 있음에도 불구하고 SQuAD 미사전학습이 SGD 데이터셋 성능에 얼마나 기여하는가?

주요 결과

• GOLOMB는 SGD 개발 세트에서 공동 목표 정확도 53.97%를 달성하여 기준 모델의 41.1%를 초월한다.
• 제거 실험 결과, 슬롯 값 예측에 [pv] 토큰을 사용할 경우 [CLS] 풀링만 사용하는 것보다 약 6%의 공동 목표 정확도 향상을 보였다.
• 슬롯과 도메인의 자연어 설명(NLD)을 포함하면 성능 향상이 이루어지지만, [pv] 토큰 접근 방식에 비해 성능 향상 폭은 미미하다.
• 의도 예측 헤드를 추가하면 약 1%의 공동 목표 정확도 향상이 이루어져 다중 작업 학습이 전체 추적 품질 향상에 기여함을 시사한다.
• ‘location’, ‘date’, ‘destination’, ‘destination_city’ 등의 슬롯은 높은 오류율(최대 12%)으로 인해 성능이 열악한 편이며, 주로 도메인 전환 혼동과 레이블 노이즈로 인한 것이다.
• 도메인 전환에 대해 어려움을 겪으며, 새로운 슬롯 값에 대한 명시적 언급이 없을 경우 슬롯 값을 정확히 전이하지 못하는 경우가 자주 발생한다.