[논문 리뷰] An End-to-end Approach for Handling Unknown Slot Values in Dialogue State Tracking

Puyang Xu, Qi Hu|arXiv (Cornell University)|2018. 05. 03.

Speech and dialogue systems참고 문헌 26인용 수 19

한 줄 요약

이 논문은 사전에 정의된 후보 목록에 의존하지 않고 발화에서 슬롯 값을 직접 추출하는 포인터 네트워크(PtrNet) 기반의 엔드 투 엔드 대화 상태 추적기 모델을 제안한다. 이는 미리 정의되지 않은 슬롯 값에 대한 효과적인 처리를 가능하게 하며, 표적 특성 드롭아웃 기법을 통해 알려지지 않은 값에 대한 리콜을 크게 향상시킨다. 이 모델은 DSTC2에서 최신 기술 수준의 공동 목표 정확도를 달성하면서도, 알려지지 않은 값에 대한 리콜을 향상시킨다.

ABSTRACT

We highlight a practical yet rarely discussed problem in dialogue state tracking (DST), namely handling unknown slot values. Previous approaches generally assume predefined candidate lists and thus are not designed to output unknown values, especially when the spoken language understanding (SLU) module is absent as in many end-to-end (E2E) systems. We describe in this paper an E2E architecture based on the pointer network (PtrNet) that can effectively extract unknown slot values while still obtains state-of-the-art accuracy on the standard DSTC2 benchmark. We also provide extensive empirical evidence to show that tracking unknown values can be challenging and our approach can bring significant improvement with the help of an effective feature dropout technique.

연구 동기 및 목표

• 사전에 완전한 도메인 온톨로지가 제공되지 않은 상황에서 알려지지 않은 슬롯 값을 처리하는 실용적이지만 아직 탐색이 부족한 과제를 해결하기 위해.
• 별도의 SLU 모듈이 필요로 하지 않고, 원시 발화에서 직접 상태를 추적할 수 있는 엔드 투 엔드 아키텍처를 개발하기 위해.
• 학습 중에 새로운 표적 드롭아웃 기법을 통해 알려지지 않은 슬롯 값에 대한 일반화 능력과 리콜을 향상시키기 위해.
• 실제 응용에서 데이터베이스가 동적으로 변화하고 투명한 상황에서 알려진 값의 효과적인 처리가 필수적임을 입증하기 위해.

제안 방법

• 모델는 입력 발화 시퀀스에서 슬롯 값을 직접 추출하기 위해 포인터 네트워크(PtrNet)를 사용하며, 상태 추적을 시퀀스에서 시퀀스로의 추출 작업으로 간주한다.
• PtrNet를 보완하기 위해 공동으로 학습되는 분류 헤드를 추가하여, 알려진 값과 희귀 값에 대한 성능을 향상시키면서도 추출 기능을 유지한다.
• 에코더의 은닉 상태에 표적 특성 드롭아웃 기법을 적용하여, 희귀하거나 알려지지 않은 값과 관련된 특징을 특별히 제거함으로써 일반화 능력을 향상시킨다.
• 신뢰도 점수나 n-최선 목록을 사용하지 않고, 원시 텍스트(1-best ASR 출력)에서 엔드 투 엔드로 학습함으로써 실세계 배포에 적합하다.
• 모델는 DSTC2와 알려지지 않은 값을 시뮬레이션하기 위해 OOV(out-of-vocabulary) 파라미터를 적용한 수정된 bAbI 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 사전에 정의된 후보 목록이나 SLU 모듈에 의존하지 않고도 엔드 투 엔드 대화 상태 추적기가 알려지지 않은 슬롯 값을 효과적으로 식별할 수 있는가?
• RQ2 기존의 DST 모델은 알려지지 않은 슬롯 값에 직면했을 때 성능이 어떻게 저하되는가? 이는 어떻게 완화될 수 있는가?
• RQ3 표적 드롭아웃과 같은 학습 기법은 알려지지 않은 값에 대한 리콜을 크게 향상시키면서도 알려진 값의 정확도를 손상시키지 않을 수 있는가?
• RQ4 제안된 하이브리드 PtrNet-분류기 아키텍처는 표준 설정과 OOV 설정 모두에서 기존 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 PtrNet 기반 모델은 표준 DSTC2 테스트 세트에서 최신 기술 수준의 공동 목표 정확도 72.1%를 달성하여, 후보 목록이나 SLU 출력에 의존하는 많은 이전 모델들을 능가한다.
• 알려지지 않은 음식 종류가 포함된 수정된 DSTC2 데이터셋에서, 표적 드롭아웃 5%만으로도 알려진 값에 대한 정확도가 11.6%에서 34.4%로 증가하여 3배 이상 향상됨을 입증했다.
• bAbI 데이터셋에서 표적 드롭아웃은 음식 종류에 대해 OOV 파라미터 예측 정확도를 86.2%에서 100%로, 위치 종류에 대해선 74.7%에서 99.6%로 향상시켜 정확도 격차를 효과적으로 해소했다.
• 표적 드롭아웃 기법은 알려지지 않은 값에 대한 일반화 능력을 크게 향상시키면서도 알려진 값에 대한 높은 성능를 유지함으로써, 실세계 환경에서의 강인성에 필수적임을 입증했다.
• PtrNet와 분류 헤드를 조합한 하이브리드 아키텍처는 알려진 값과 알려지지 않은 값 모두에서 뛰어난 성능을 발휘하며, 고정된 후보 집합에 의존하는 모델들을 능가한다.