[논문 리뷰] A Sequence-to-Sequence Approach to Dialogue State Tracking

Yue Feng, Yan Wang외 1명|arXiv (Cornell University)|2020. 11. 18.

Topic Modeling참고 문헌 38인용 수 6

한 줄 요약

이 논문은 대화 상태 추적을 번역 작업으로 간주하는 Seq2Seq-DU라는 시퀀스 투 시퀀스 모델을 제안한다. 이 모델은 대화 및 스키마 표현에 BERT-엔코더를 사용하고, 어텐션 메커니즘과 포인터 생성기를 활용하여 의도, 슬롯, 값들을 함께 모델링한다. 다양한 벤치마크 데이터셋, 즉 SGD, MultiWOZ, WOZ2.0에서 최고 성능을 기록하며, 미사용 스키마에 대한 제로샷 일반화도 지원한다.

ABSTRACT

This paper is concerned with dialogue state tracking (DST) in a task-oriented dialogue system. Building a DST module that is highly effective is still a challenging issue, although significant progresses have been made recently. This paper proposes a new approach to dialogue state tracking, referred to as Seq2Seq-DU, which formalizes DST as a sequence-to-sequence problem. Seq2Seq-DU employs two BERT-based encoders to respectively encode the utterances in the dialogue and the descriptions of schemas, an attender to calculate attentions between the utterance embeddings and the schema embeddings, and a decoder to generate pointers to represent the current state of dialogue. Seq2Seq-DU has the following advantages. It can jointly model intents, slots, and slot values; it can leverage the rich representations of utterances and schemas based on BERT; it can effectively deal with categorical and non-categorical slots, and unseen schemas. In addition, Seq2Seq-DU can also be used in the NLU (natural language understanding) module of a dialogue system. Experimental results on benchmark datasets in different settings (SGD, MultiWOZ2.2, MultiWOZ2.1, WOZ2.0, DSTC2, M2M, SNIPS, and ATIS) show that Seq2Seq-DU outperforms the existing methods.

연구 동기 및 목표

• 다양한 슬롯 유형과 미사용 스키마를 다루는 데 어려움을 겪는 작업 지향 대화에서 효과적인 대화 상태 추적(DST)을 해결하기 위해.
• 이전 방법들이 별개로 다루는 것과는 달리, 의도, 슬롯, 슬롯 값 예측을 하나의 공동 모델링 프레임워크로 통합하기 위해.
• 대화 이력과 스키마 설명에 모두 BERT 기반 엔코더를 활용하여 모델의 확장성과 표현 능력을 향상시키기 위해.
• 학습 데이터를 초월한 일반화를 향상시키기 위해, 미사용 스키마와 도메인에 대한 제로샷 추론을 가능하게 하기 위해.

제안 방법

• 대화 이력을 인코딩하는 데 사용되는 BERT 기반 엔코더와 스키마 설명을 자연어로 인코딩하는 데 사용되는 다른 BERT 기반 엔코더를 사용한다.
• 발화 임베딩과 스키마 임베딩 간의 상호작용을 계산하기 위해 어텐션 메커니즘을 활용하여 관련된 의미 관계를 포착한다.
• 출력 토큰을 생성하기 위해 포인터 생성기 디코더를 사용하여 스키마 내 특정 의도, 슬롯, 슬롯 값에 대한 포인터를 나타낸다.
• 포인터의 시퀀스로서 대화 상태를 생성함으로써, 범주형 및 비범주형 슬롯을 함께 모델링할 수 있다.
• 고정된 레이블 예측이 아닌 포인터 생성에 기반하여, 소수의 샘플 및 제로샷 추론 모두를 지원한다.
• 단일 턴 이해를 대화 상태 추적의 특수 케이스로 간주함으로써, DST 및 NLU 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 기존 방법들과 비교해 볼 때, 시퀀스 투 시퀀스 프레임워크가 의도, 슬롯, 슬롯 값 예측을 더 효과적으로 공동으로 모델링할 수 있는가?
• RQ2 대화 및 스키마 표현 간의 교차 어텐션을 갖춘 BERT 기반 모델이 미사용 스키마와 도메인으로의 일반화 성능이 얼마나 우수한가?
• RQ3 포인터 생성기 디코더가 범주형 및 비범주형 슬롯을 모두 다루는 데 있어 표준 분류 또는 추출 헤드보다 우수한 성능을 내는가?
• RQ4 다양한 대화 데이터셋에서 소수의 샘플 및 제로샷 설정 모두에서 강력한 성능을 기록할 수 있는가?
• RQ5 대화 및 스키마 표현 간의 어텐션 메커니즘이 상태 추적 정확도 향상에 얼마나 기여하는가?

주요 결과

• Seq2Seq-DU는 SGD에서 최고 성능을 기록하며, 공동 정확도가 0.578에 이르며, TRADE(0.628) 및 FastSGT와 같은 베이스라인을 능가한다.
• MultiWOZ2.2에서 Seq2Seq-DU는 공동 정확도 0.758을 기록하여 이전 최고 성능 모델인 DS-DST(0.706)와 TRADE(0.628)를 모두 앞선다.
• WOZ2.0에서 Seq2Seq-DU는 BERT-DST를 능가하며, 스키마 설명이 없는 다회화 대화에서도 강력한 성능을 보였다.
• 모델는 강력한 제로샷 일반화 성능을 보였다: SGD에서 미사용 스키마가 있는 라이드셰링 도메인에서 공동 정확도 0.6702를 기록했고, 날씨 도메인에서는 0.5792를 기록하여 견고한 도메인 간 전이 성능를 입증했다.
• Seq2Seq-DU는 ATIS 및 SNIPS에서 Joint BERT와 유사한 성능을 기록하여, 단일 턴 NLU 작업에서의 효과성을 확인했다.
• Seq2Seq-DU는 SGD와 MultiWOZ2.2에서 비범주형 슬롯에 대해 각각 0.393 및 0.711의 공동 정확도를 기록하여, 개방형 어휘 슬롯 값에 대한 효과적인 처리 능력을 보였다.