[논문 리뷰] The SPPD System for Schema Guided Dialogue State Tracking Challenge

Miao Li, Haoqi Xiong외 1명|arXiv (Cornell University)|2020. 06. 16.

Speech and dialogue systems참고 문헌 22인용 수 9

한 줄 요약

이 논문은 BERT 기반 인코더를 활용하여 스키마 설명과 대화 발언 간의 의미 관계를 포착함으로써 DSTC8의 스키마 가이드드 대화(SGD) 데이터셋을 위한 제로샷 대화 상태 추적 모델인 SPPD 시스템을 제안한다. 값 검색, 슬롯 연속 전달, 확률적 앙상블 전략을 통합함으로써, 특히 미사용 도메인과 서비스로의 제로샷 일반화에서 뛰어난 성능을 달성한다.

ABSTRACT

This paper introduces one of our group's work on the Dialog System Technology Challenges 8 (DSTC8), the SPPD system for Schema Guided dialogue state tracking challenge. This challenge, named as Track 4 in DSTC8, provides a brand new and challenging dataset for developing scalable multi-domain dialogue state tracking algorithms for real world dialogue systems. We propose a zero-shot dialogue state tracking system for this task. The key components of the system is a number of BERT based zero-shot NLU models that can effectively capture semantic relations between natural language descriptions of services' schemas and utterances from dialogue turns. We also propose some strategies to make the system better to exploit information from longer dialogue history and to overcome the slot carryover problem for multi-domain dialogues. The experimental results show that the proposed system achieves a significant improvement compared with the baseline system.

연구 동기 및 목표

• 평가 세트에 포함된 새로운 도메인과 서비스가 존재하는 다도메인, 다서비스 대화 시스템에서 제로샷 대화 상태 추적의 과제를 해결하기 위해.
• 기존 모델이 본 적 있는 온톨로지에 의존하거나 새로운 도메인에 대해 미세조정이 필요로 하는 한계를 극복하기 위해.
• 특히 비범주형 슬롯에 대해 장기적인 대화 기록과 도메인 간 경계를 넘는 슬롯 값 추적을 향상시키기 위해.
• 이전 턴에서 발생한 오류 전파에 대한 강건성을 향상시키기 위해 동적 어텐션과 드롭아웃 전략을 통해 모델의 강건성을 높이기 위해.
• 스키마 설명과 대화 발언 간의 의미 유사성을 활용하여, 새로운 서비스에 대한 강력한 일반화 성능를 달성하기 위해.

제안 방법

• 스키마 설명(의도, 슬롯, 값)과 대화 발언을 동시에 인코딩하는 BERT 기반 신경망을 사용하여, 슬롯-값 관계의 종단 간 의미 이해를 가능하게 한다.
• 학습 중 이전 의도 드롭아웃 전략을 적용함(드롭아웃 비율 0.9)으로써 이전 턴에 대한 과도한 의존도를 줄이고 오류 전파에 대한 강건성을 향상시킨다.
• 이전 시스템 발언에서 슬롯 값을 추출하는 값 검색(VR) 전략을 구현하여 현재 턴을 초월한 컨텍스트를 연장한다.
• 다도메인 대화에서 슬롯 값을 도메인 간에 전달하는 슬롯 연속 전달(SCO) 메커니즘을 도입하여 공유 정보의 추적을 향상시킨다.
• 여러 개의 BERT 기반 모델(예: BERT-Base, BERT-Large, RoBERTa-Large) 예측을 융합하는 확률적 조합(ProbAvg) 전략을 적용하여 신뢰도와 정확도를 향상시킨다.
• 여러 미세조정된 모델의 출력을 평균화하는 앙상블 모델을 사용하여 공동 목표 정확도와 평균 목표 정확도에서 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델이 해당 도메인에 대해 미세조정 없이도 새로운 도메인과 서비스로의 일반화를 효과적으로 수행할 수 있는가?
• RQ2 대화 상태 추적기가 더 긴 대화 기록, 즉 시스템 발언과 도메인 간 슬롯 연속 전달 정보를 어떻게 활용할 수 있는가?
• RQ3 다턴 대화 상태 추적에서 이전 턴의 오류 전파를 완화하는 데에는 어떤 전략이 효과적인가?
• RQ4 여러 개의 BERT 기반 모델을 확률적으로 조합하는 것이 제로샷 및 피셔샷 평가 설정에서 성능 향상에 얼마나 기여하는가?
• RQ5 어텐션 메커니즘을 통한 스키마 설명 의미 정보의 통합이 다도메인 대화 시스템에서 제로샷 일반화를 어떻게 향상시키는가?

주요 결과

• 제안된 시스템은 테스트 세트에서 공동 목표 정확도 90.0% (91.6/87.8)를 달성하여 베이스라인 모델을 크게 앞서며 강력한 제로샷 일반화 성능를 입증한다.
• 의도 정확도는 98.8% (98.9/98.6)를 기록하였으며, 특히 새로운 서비스 처리에서 베이스라인 대비 뚜렷한 향상이 있었고, 이는 성능 향상의 중요한 요소로 작용한다.
• 학습 중 0.9의 이전 의도 드롭아웃 비율을 적용한 결과가 가장 높은 의도 정확도를 기록하여, 이전 턴에 대한 의존도를 줄임으로써 강건성이 향상됨을 시사한다.
• 값 검색(VR) 및 슬롯 연속 전달(SCO) 전략은 일반적으로 현재 발언에만 의존하는 모델이 놓치는 비범주형 슬롯에서 성능 향상에 크게 기여한다.
• 확률적 조합 전략(ProbAvg)과 앙상블 모델(모든 전략 포함)이 가장 우수한 전체 성능를 기록하였으며, 테스트 세트에서 공동 목표 정확도 90.0%와 공동 F1 99.5%를 달성하였다.
• 제안된 시스템에서는 본 적 있는 서비스와 본 적 없는 서비스 간의 성능 격차가 훨씬 작다(예: 공동 목표 정확도 88.1% 대 85.6%), 이는 강력한 제로샷 일반화 능력을 확인한다.