[논문 리뷰] Towards Universal Dialogue State Tracking

Liliang Ren, Kaige Xie외 2명|arXiv (Cornell University)|2018. 10. 22.

Speech and dialogue systems참고 문헌 27인용 수 6

한 줄 요약

이 논문은 기존 모델의 핵심적 한계를 극복하기 위해 모든 슬롯 간에 파라미터를 공유하고 고정된 온톨로지나 수작업으로 제작된 어휘 사전에 의존하지 않으며, 사전에 훈련된 단어 벡터를 사용하는 유니버설 대화 상태 추적기인 StateNet을 제안한다. DSTC2 및 WOZ 2.0 벤치마크에서 모두 최고 성능을 기록하며, 파라미터 공유와 슬롯별 사전 훈련 초기화를 통해 이전 방법들을 능가한다.

ABSTRACT

Dialogue state tracking is the core part of a spoken dialogue system. It estimates the beliefs of possible user's goals at every dialogue turn. However, for most current approaches, it's difficult to scale to large dialogue domains. They have one or more of following limitations: (a) Some models don't work in the situation where slot values in ontology changes dynamically; (b) The number of model parameters is proportional to the number of slots; (c) Some models extract features based on hand-crafted lexicons. To tackle these challenges, we propose StateNet, a universal dialogue state tracker. It is independent of the number of values, shares parameters across all slots, and uses pre-trained word vectors instead of explicit semantic dictionaries. Our experiments on two datasets show that our approach not only overcomes the limitations, but also significantly outperforms the performance of state-of-the-art approaches.

연구 동기 및 목표

• 고정된 온톨로지, 슬롯당 큰 파라미터 수, 수작업으로 제작된 의미 사전에 의존하는 기존 대화 상태 추적기의 확장성 한계를 해결하기 위해.
• 재학습이나 재설정 없이도 동적으로 변화하는 슬롯 값들을 처리할 수 있는 유니버설 추적기를 개발하기 위해.
• 모든 슬롯 간에 공통 아키텍처를 통해 파라미터를 공유하여 모델 복잡도를 감소시키고 일반화 능력을 향상시키기 위해.
• 수작업 주석이 필요한 사용자 발화를 제거하기 위해 사전에 훈련된 단어 벡터와 자동으로 생성된 n-gram 표현에 의존하기 위해.
• 대상별 사전 훈련과 전이 학습을 통해 자원이 적거나 어려운 슬롯(예: 음식)에서 성능을 향상시키기 위해.

제안 방법

• StateNet은 사용자 발화와 기계 동작의 대화 이력을 인코딩하기 위해 장기 단기 기억(LSTM) 네트워크를 사용하여 맥락 인식 표현을 생성한다.
• 신뢰도 점수를 활용해 자동 음성 인식(ASR) 가설에서 n-gram 가중치가 부여된 단어 벡터를 구성함으로써 전사 오류에 대한 강건성을 확보한다.
• 사용자 발화 표현을 다양한 n-gram 수준에서 처리하는 다중 척도 수용체 레이어를 도입하여 다양한 의미 패턴을 포착한다.
• 각 슬롯에 대해 대화 이력의 고정 길이 표현을 계산하고, 후보 슬롯 값의 사전에 훈련된 단어 벡터와 거리 기반 스코어링 메커니즘을 사용하여 비교한다.
• 모든 슬롯 간에 파라미터 공유를 구현하여 지식 전이를 가능하게 하고, 슬롯 수에 관계없이 모델 복잡도를 감소시킨다.
• 이중 단계 훈련 전략을 사용한다: 먼저 어려운 단일 슬롯(예: 음식)에서 사전 훈련을 수행하고, 이후 초기화된 가중치로 모든 슬롯에서 미세 조정하여 수렴성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 재학습이나 재설정 없이도 새로운 또는 변경된 슬롯 값을 동적으로 처리할 수 있는 대화 상태 추적기를 설계할 수 있는가?
• RQ2 슬롯 간의 파라미터 공유가 성능을 저하시키지 않으면서 일반화 능력을 향상시키고 모델 복잡도를 감소시킬 수 있는가?
• RQ3 가장 어려운 슬롯(예: 음식)에서 사전 훈련을 수행하면, 더 쉬운 슬롯에서 사전 훈련하는 것보다 종합 목표 정확도가 향상되는가?
• RQ4 수작업 주석이 필요한 사용자 발화나 수작업으로 제작된 의미 사전에 의존하지 않고도 최고 성능을 달성할 수 있는가?
• RQ5 사전에 훈련된 단어 벡터와 다중 척도 n-gram 표현의 사용이 슬롯 특화 의미를 포착하는 데 얼마나 효과적인가?

주요 결과

• 사전 훈련을 음식 슬롯에서 수행한 StateNet_PSI는 DSTC2에서 88.9%, WOZ 2.0에서 88.2%의 종합 목표 정확도를 기록하여 이전 최고 성능 모델들을 모두 능가한다.
• 어려운 슬롯(음식)에서의 사전 훈련이 종합 목표 정확도를 크게 향상시키며, 표 2의 추론 분석을 통해 이를 확인할 수 있다.
• 파라미터 공유로 인해 모델 복잡도가 감소하고 발산을 방지하여 슬롯 간 효과적인 지식 전이가 가능해진다.
• 수작업 주석이 필요한 사용자 발화 없이도 사전에 훈련된 단어 벡터와 ASR 출력에 의존함으로써 높은 성능을 달성한다.
• 다중 척도 n-gram 표현의 사용은 ASR 오류에 대한 강건성을 향상시키고 사용자 발화의 의미 표현을 향상시킨다.
• 해당 값에 대한 사전에 훈련된 단어 벡터가 확보되어 있다면 새로운 슬롯 값에 대해 확장 가능한데, 이는 슬롯 값 수에 영향을 받지 않는다.