[논문 리뷰] Efficient Context and Schema Fusion Networks for Multi-Domain Dialogue State Tracking

Su Zhu, Jieyu Li외 2명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 44인용 수 23

한 줄 요약

이 논문은 다중 도메인 대화 상태 추적을 위한 컨텍스트 및 스키마 융합 네트워크(CSFN-DST)를 제안하며, 내부 및 외부 어텐션 메커니즘을 통해 대화 컨텍스트와 스키마 그래프를 동시에 인코딩합니다. 도메인-슬롯 관계에서 유래한 사전 지식을 활용하고 예측된 이전 상태를 통해 효율적으로 컨텍스트를 모델링함으로써, MultiWOZ 2.0 및 2.1에서 최고 성능을 달성하며 강력한 베이스라인을 능가하며, 기존 SOTA(SOM-DST)보다 스키마 그래프를 통합함으로써 성능 향상을 이루었습니다.

ABSTRACT

Dialogue state tracking (DST) aims at estimating the current dialogue state given all the preceding conversation. For multi-domain DST, the data sparsity problem is a major obstacle due to increased numbers of state candidates and dialogue lengths. To encode the dialogue context efficiently, we utilize the previous dialogue state (predicted) and the current dialogue utterance as the input for DST. To consider relations among different domain-slots, the schema graph involving prior knowledge is exploited. In this paper, a novel context and schema fusion network is proposed to encode the dialogue context and schema graph by using internal and external attention mechanisms. Experiment results show that our approach can obtain new state-of-the-art performance of the open-vocabulary DST on both MultiWOZ 2.0 and MultiWOZ 2.1 benchmarks.

연구 동기 및 목표

• 대규모 도메인-슬롯 쌍과 긴 대화 이력으로 인한 데이터 희소성 문제를 해결하기 위해 다중 도메인 대화 상태 추적에서의 데이터 희소성 문제를 해결합니다.
• 모든 이전 대화를 연결하는 대신 이전에 예측된 대화 상태와 현재 발화만을 사용하여 컨텍스트 인코딩을 향상시킵니다.
• 스키마 그래프를 통해 도메인-슬롯 관계를 통합하여 종속성을 모델링하고 데이터 불균형 문제를 완화합니다.
• 시퀀스 모델링과 그래프 기반의 관계적 인덕티브 바이어스를 융합하여 오픈 뷰포트리지 값 예측을 가능하게 합니다.
• 어텐션 메커니즘을 활용해 대화 컨텍스트와 스키마 구조를 공동으로 인코딩함으로써 모델의 일반화 능력과 성능을 향상시킵니다.

제안 방법

• 사전 정의된 관계를 가진 도메인, 슬롯, 도메인-슬롯 노드를 포함하는 스키마 그래프를 구성하여 사전 지식을 인코딩합니다.
• 내부 어텐션을 사용해 이전 상태와 현재 발화로 표현된 대화 컨텍스트 내의 종속성을 모델링합니다.
• 외부 어텐션을 적용해 대화 컨텍스트를 스키마 그래프와 정렬하고, 양쪽 소스에서 온 정보를 융합합니다.
• 내부 및 외부 어텐션을 모두 사용해 각 도메인-슬롯 노드의 표현을 반복적으로 개선하는 다층 융합 네트워크를 활용합니다.
• 슬롯 게이트 분류기를 사용해 슬롯이 언급되었는지(INCLUDING NONE 또는 DONTCARE)를 결정한 후, 오픈 뷰포트리지 값 생성을 위한 RNN 기반 디코더를 사용합니다.
• 적용 가능한 경우 BERT를 사용해 문맥 인코딩을 수행하며, 종합 목표 정확도를 주요 지표로 삼아 엔드 투 엔드로 훈련합니다.

실험 결과

연구 질문

• RQ1 도메인-슬롯 관계를 인코딩하는 스키마 그래프가 데이터 희소성 상황에서 다중 도메인 대화 상태 추적 성능을 향상시킬 수 있는가?
• RQ2 내부 및 외부 어텐션을 통한 대화 컨텍스트와 스키마 정보 융합이 도메인-슬롯 쌍에 대한 표현 학습을 어떻게 향상시키는가?
• RQ3 전체 이력 대신 이전에 예측된 대화 상태만을 사용하는 것이 정확도를 손상시키지 않으면서도 효율성을 얼마나 향상시키는가?
• RQ4 제안된 스키마 그래프를 SOM-DST와 같은 기존 SOTA 모델에 통합하여 성능 향상을 이끌 수 있는가?
• RQ5 슬롯 게이트 분류기와 RNN 기반 디코더는 다양한 도메인에서 오픈 뷰포트리지 값 예측을 얼마나 효과적으로 처리하는가?

주요 결과

• 제안된 CSFN-DST는 MultiWOZ 2.1에서 종합 목표 정확도 53.19%를 달성하여 강력한 베이스라인을 능가하고 새로운 SOTA를 수립했습니다.
• 절단 실험 결과, 컨텍스트 인코딩과 스키마 그래프 통합이 모두 필수적임을 확인하였으며, 스키마 그래프가 성능 향상에 크게 기여했습니다.
• 스키마 그래프 덕분에 기존 SOTA인 SOM-DST의 성능도 향상되어 MultiWOZ 2.0에서 종합 정확도 52.23%, MultiWOZ 2.1에서 53.19%로 상승했습니다.
• 슬롯 게이트 분류기는 높은 F1 스코어를 기록했으며, NONE의 경우 99.19, PTR의 경우 98.05를 기록했지만, DONTCARE 탐지가 여전히 도전 과제로 남아 있었으며, BERT를 사용한 경우 F1 스코어는 75.96이었습니다.
• 오라클 실험 결과, 진짜 이전 대화 상태가 제공될 경우 종합 정확도가 거의 80%에 도달함을 확인하여, 훈련-추론 불일치가 핵심 성능 저하 요인임을 시사했습니다.
• BERT를 사용한 추론 시간은 배치당 840ms이며, 파라미터 수는 115M로, 능력이 증가했음에도 불구하고 합리적인 효율성을 보였습니다.