[논문 리뷰] A Network-based End-to-End Trainable Task-oriented Dialogue System

Tsung-Hsien Wen, David Vandyke외 6명|arXiv (Cornell University)|2016. 04. 15.

Topic Modeling참고 문헌 32인용 수 170

한 줄 요약

논문은 명시적 신념 트래커와 데이터베이스 인터페이스를 가진 엔드투엔드 태스크 지향 대화 시스템과 파이프라인식 Wizard-of-Oz 데이터 수집 방법을 제시하며, 레스토랑 도메인에서 경쟁력 있는 메트릭으로 태스크를 완료한다.

ABSTRACT

Teaching machines to accomplish tasks by conversing naturally with humans is challenging. Currently, developing task-oriented dialogue systems requires creating multiple components and typically this involves either a large amount of handcrafting, or acquiring costly labelled datasets to solve a statistical learning problem for each component. In this work we introduce a neural network-based text-in, text-out end-to-end trainable goal-oriented dialogue system along with a new way of collecting dialogue data based on a novel pipe-lined Wizard-of-Oz framework. This approach allows us to develop dialogue systems easily and without making too many assumptions about the task at hand. The results show that the model can converse with human subjects naturally whilst helping them to accomplish tasks in a restaurant search domain.

연구 동기 및 목표

• 도메인 특화 작업을 대량의 수작업 없이 처리할 수 있는 엔드투엔드 신경망 태스크 지향 대화 모델의 필요성을 동기화한다.
• 의도 인코딩, 신념 추적, 데이터베이스 연산자, 정책 네트워크, 생성 네트워크를 결합한 모듈형이지만 엔드투엔드로 학습 가능한 아키텍처를 제안한다.
• 도메인 내 대화 데이터를 저렴하고 신속하게 수집하는 새로운 파이프라인식 Wizard-of-Oz 데이터 수집 프레임워크를 도입한다.
• 제안된 모델이 비교적 적은 데이터셋으로도 레스토랑 검색 도메인에서 태스크 성공과 자연스러움을 경쟁력 있게 달성할 수 있음을 입증한다.

제안 방법

• 대화를 대화 이력과 DB 검색 결과를 보강한 시퀀스-투-시퀀스 문제로 취급한다.
• 사용자 입력의 분포 표현을 생성하기 위해 의도 네트워크(LSTM 또는 CNN 인코더)를 사용한다.
• 확률적 슬롯 값을 유지하기 위해 CNN 기반 특징 추출기를 갖춘 슬롯-값 신념 추적기를 사용한다.
• 신념 트래커 출력에서 DB를 질의하여 DB 진실 벡터를 형성하는 데이터베이스 연산자를 도입한다.
• 의도, 신념 상태, DB 매치 정보를 융합하여 응답 생성을 위한 액션 벡터를 생성하는 정책 네트워크를 도입한다.
• 액션 벡터를 조건으로 골격적 응답을 생성한 다음, DB 값과 비소거(for delexicalised) 토큰으로 어휘화한다.
• 생성 도중 추적기 신념의 가중치를 동적으로 조정하기 위한 주의(attention) 기반 확장을 선택적으로 사용할 수 있다.

실험 결과

연구 질문

• RQ1 명시적 신념 추적과 데이터베이스 인터페이스를 갖춘 엔드투엔드 학습 가능한 신경망 아키텍처가 태스크 지향 대화 성능에서 경쟁력을 달성할 수 있는가?
• RQ2 디렉슐레이션(delexicalisation)과 가중치 결합이 데이터 요구량을 줄이면서도 신경망 엔드투엔드 모델의 태스크 성공을 보존하는가?
• RQ3 크라우드소스된 파이프라인 Wizard-of-Oz 데이터 수집 프레임워크가 도메인 내 대화 데이터의 품질과 비용에 어떤 영향을 미치는가?
• RQ4 디코딩 전략(평균 가능도, 가중 디코딩, 주의) 중 어떤 것이 태스크 성공과 자연스러움을 가장 잘 향상시키는가?
• RQ5 제안된 모델이 태스크 성공 및 사용자 경험 측면에서 수작업으로 구성된 모듈식 베이스라인과 비교해 어떤 차이가 있는가?

주요 결과

Encoder	Tracker	Decoder	Match (%)	Success (%)	T5-BLEU	T1-BLEU
Baseline	lstm - lstm -	-	-	-	0.1650	0.1718
Baseline	lstm turn recurrence	lstm -	-	-	0.1813	0.1861
Variant	lstm rnn-cnn, w/o req.	lstm	88.82	30.60	0.1769	0.1799
Variant	cnn rnn-cnn	lstm	88.82	58.52	0.2354	0.2429
Full model w/ different decoding strategy	lstm rnn-cnn	lstm	86.34	75.16	0.2184	0.2313
Full model w/ attention	lstm rnn-cnn	lstm	90.88	80.02	0.2286	0.2388
Full model w/ attention + weighted	lstm rnn-cnn	lstm	90.88	83.82	0.2304	0.2369

• 엔드투엔드 모델은 명시적 신념 추적기와 DB 연산자를 갖추어 레스토랑 도메인에서 의미 있는 태스크 완료와 자연스러운 상호작용을 달성한다.
• CNN 기반 신념 추적기는 N-그램 추적기에 비해 긴 거리 의존성에 더 잘 일반화하여 정밀도와 재현율이 더 높다.
• 주의 기반 생성 및 가중 디코딩은 태스크 성공을 크게 향상시키며, 주의(attention)가 가장 큰 이득을 제공한다(약 ~5 퍼센트 포인트).
• 코퍼스 기반 평가는 주의와 가중치를 갖춘 전체 모델이 베이스라인보다 높은 태스크 성공 및 BLEU 점수를 달성함을 보여준다.
• 인간 평가에서 전체 모델에 대해 주관적 성공도가 높게 보고되었으며(≈98%), 이해도와 자연스러움 점수도 4/5를 넘는다.
• 수작업으로 구성된 모듈형 시스템과 비교하여 신경망 접근법이 더 높은 사용자 참여도와 유사하게 태스크 성공을 달성한다.