[논문 리뷰] Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering

Li Zhou, Kevin Small|arXiv (Cornell University)|2019. 11. 07.

Topic Modeling참고 문헌 29인용 수 58

한 줄 요약

논문은 다중 도메인 대화 상태 추적 DSTQA를 bidirectional attention network와 동적으로 진화하는 지식 그래프로 프레이밍하여 도메인–슬롯 관계를 포착하고, MultiWOZ 2.0/2.1에서 최첨단 결과를 달성하며 도메인 적응을 강하게 보여준다.

ABSTRACT

Multi-domain dialogue state tracking (DST) is a critical component for conversational AI systems. The domain ontology (i.e., specification of domains, slots, and values) of a conversational AI system is generally incomplete, making the capability for DST models to generalize to new slots, values, and domains during inference imperative. In this paper, we propose to model multi-domain DST as a question answering problem, referred to as Dialogue State Tracking via Question Answering (DSTQA). Within DSTQA, each turn generates a question asking for the value of a (domain, slot) pair, thus making it naturally extensible to unseen domains, slots, and values. Additionally, we use a dynamically-evolving knowledge graph to explicitly learn relationships between (domain, slot) pairs. Our model has a 5.80% and 12.21% relative improvement over the current state-of-the-art model on MultiWOZ 2.0 and MultiWOZ 2.1 datasets, respectively. Additionally, our model consistently outperforms the state-of-the-art model in domain adaptation settings. (Code is released at https://github.com/alexa/dstqa )

연구 동기 및 목표

• 완전하지 않은 온톨로지로 인해 보편화되지 않은 도메인, 슬롯, 값에 일반화될 수 있는 강건한 다중 도메인 DST의 필요성을 제기한다.
• DST 모델이 DST를 도메인-슬롯-값 삼중항에 대해 질문에 답하는 문제로 다루도록 제안한다.
• 도메인-슬롯 쌍과 값 간의 관계를 인코딩하는 동적으로 진화하는 지식 그래프를 도입한다.
• DSTQA가 표준 벤치마크와 도메인 적응 설정에서 이전 방법들보다 상태 추적 성능을 향상시킴을 보여준다.

제안 방법

• 각 (도메인, 슬롯) 쌍마다 가능한 값을 포함하여 질문 Q_{d,s}의 세트를 구성한다.
• 양방향 주의 흐름을 사용하여 대화 컨텍스트를 각 질문과 연결하고, 컨텍스트- 및 값 특화 임베딩을 생성한다.
• 컨텍스트- 및 질문-인식 임베딩에 대해 Bilinear 점수 매커니즘으로 값을 예측하거나, 큰/무한한 값 집합을 가진 슬롯에 대해 스팬(span)을 예측한다.
• 도메인-슬롯 노드와 값 노드가 있는 동적 지식 그래프를 도입하고, 그래프 어텐션이Turn 간/도메인 간 정보를 전파한다.
• 대화 컨텍스트에 따라 그래프 정보 흐름을 제어하는 게이팅 메커니즘을 통해 그래프 임베딩을 예측에 주입한다.
• 필요한 경우 시간 관련 슬롯에 대한 스팬 레이블을 얻기 위해 데이터셋을 전처리하여 스팬 기반 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DST를 QA 태스크로 효과적으로 모델링하여 보지 않은 도메인, 슬롯, 값에 일반화할 수 있는가?
• RQ2 도메인-슬롯/값 간의 관계를 포착하는 동적 지식 그래프를 포함하면 DST 성능이 향상되는가?
• RQ3 대화 컨텍스트와 슬롯/값 질문 간의 양방향 주의가 정확도에 어떤 영향을 미치는가?
• RQ4 큰 값 집합이나 알 수 없는 값 세트를 가진 슬롯의 경우 스팬 기반 예측과 값 기반 예측의 영향은 무엇인가?
• RQ5 제안된 접근법이 대상 도메인 데이터가 제한된 도메인 적응 상황으로 얼마나 잘 이전되는가?

주요 결과

데이터셋	모델	공동	슬롯
MultiWOZ 2.0	DSTQA w/span	51.36	97.22
MultiWOZ 2.0	-graph	50.89	97.17
MultiWOZ 2.0	-gating	50.38	97.14
MultiWOZ 2.0	-bi att +avg	49.74	97.11
MultiWOZ 2.0	-bi att	49.51	97.07
MultiWOZ 2.0	-ELMo +GloVe	49.52	96.96
MultiWOZ 2.0	DSTQA w/o span	51.44	97.24
MultiWOZ 2.0	-ELMo +GloVe	50.81	97.19
MultiWOZ 2.1	TRADE	45.60	-
MultiWOZ 2.1	DSTQA w/span	49.67	97.10
MultiWOZ 2.1	-graph	49.48	97.05
MultiWOZ 2.1	-ELMo +GloVe	48.15	96.98
MultiWOZ 2.1	DSTQA w/o span	51.17	97.21
MultiWOZ 2.1	-ELMo +GloVe	50.03	97.12

• DSTQA w/span은 MultiWOZ 2.0에서 51.36(공동) 및 97.22(슬롯)를 달성하여 TRADE를 포함한 여러 baselines를 능가한다.
• DSTQA w/o span은 MultiWOZ 2.0에서 51.44(공동) 및 97.24(슬롯)를 달성하여 시간 관련 값을 열거할 때 강한 성능을 보여준다.
• MultiWOZ 2.1에서 DSTQA w/span은 49.67(공동) 및 97.10(슬롯)으로 TRADE를 눈에 띄게 능가; DSTQA w/o span은 51.17(공동) 및 97.21(슬롯)을 달성한다.
• 그래프 구성요소 또는 게이팅 메커니즘을 제거하면 공동 정확도가 감소하여 동적 지식 그래프와 게이트된 그래프 통합의 이점을 뒷받침한다.
• 모델은 robust한 도메인 적응을 보여주며, 대상 도메인 데이터가 제한된 여러 도메인에서 항상 baselines를 능가한다.
• Ablations는 양방향 주의 및 맥락 임베딩(ELMo)이 성능에 의미 있게 기여함을 시사한다.