[논문 리뷰] A practical approach to dialogue response generation in closed domains

Yichao Lu, Phillip Keung외 3명|arXiv (Cornell University)|2017. 03. 28.

Topic Modeling참고 문헌 11인용 수 13

한 줄 요약

이 논문은 고객 서비스를 위한 약한 지도 학습 기반, 템플릿 기반 대화 응답 생성 시스템을 제안한다. 이는 이중 인코더 네트워크를 사용해 고객의 문의를 관련 응답 템플릿과 매칭한다. 아마존의 채팅 코퍼스로 훈련된 모델은 정밀도@3에서 80.0%를 기록했으며, 과거 문의의 70% 이상을 커버했고, 관련성과 순위 정확도에서 tf-idf 기반 모델보다 뚜렷이 뛰어나다.

ABSTRACT

We describe a prototype dialogue response generation model for the customer service domain at Amazon. The model, which is trained in a weakly supervised fashion, measures the similarity between customer questions and agent answers using a dual encoder network, a Siamese-like neural network architecture. Answer templates are extracted from embeddings derived from past agent answers, without turn-by-turn annotations. Responses to customer inquiries are generated by selecting the best template from the final set of templates. We show that, in a closed domain like customer service, the selected templates cover $>$70\% of past customer inquiries. Furthermore, the relevance of the model-selected templates is significantly higher than templates selected by a standard tf-idf baseline.

연구 동기 및 목표

• 고객 서비스 상호작용의 수동적 노동을 줄이기 위해 폐쇄 도메인에서 응답 생성을 자동화한다.
• 턴별 애너테이션 없이 비정형 에이전트 응답에서 유한한 수의 고품질 재사용 가능한 응답 템플릿을 식별한다.
• 약한 지도 학습 기반의 딥 러닝 접근을 통해 응답의 관련성 향상과 수동적 템플릿 선택 감소를 도모한다.
• 텍스트 및 음성 인터페이스를 지원하는 확장 가능하고 효율적이며 구현 가능한 고객 서비스 대화 시스템을 구현한다.
• 고전적인 검색 기반 기준 모델인 tf-idf 모델에 비해 고객 문의의 관련성과 순위 성능에서 뛰어나다.

제안 방법

• 고객 질문과 에이전트 응답을 모두 동일한 벡터 공간에 임bedding하여 유사도 측정을 수행하기 위해 이중 인코더 네트워크 아키텍처를 사용한다.
• 명시적인 의도 애너테이션 또는 인간 레이블 기반 의도 클러스터 없이 과거 채팅 로그만을 사용해 약한 지도 학습 방식으로 모델을 훈련한다.
• 과거 에이전트 응답의 임베딩을 기반으로 임베딩 공간에서 클러스터링을 통해 응답 템플릿을 자동으로 추출한다.
• 입력 질문과의 임베딩 유사도 기반으로 최고 점수를 받은 템플릿을 풀에서 선택함으로써 최종 응답을 생성한다.
• 기존 주문 및 이슈 메타데이터를 활용해 날짜, 주문 상태 등의 동적 콘텐츠를 위한 슬롯을 템플릿에 통합한다.
• 평가에는 자동 평가 지표(MRR, 정밀도@3)와 고객 서비스 에이전트가 수행한 인간 평가를 통한 관련성 점수 평가가 함께 사용된다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 기반의 이중 인코더 모델이 비정형 고객 서비스 채팅 로그에서 관련 응답 템플릿을 효과적으로 검색할 수 있는가?
• RQ2 자동으로 추출된 템플릿이 폐쇄 도메인 내 과거 고객 문의를 어느 정도 커버할 수 있는가?
• RQ3 응답 관련성과 순위 성능 측면에서 이중 인코더 모델이 고전적인 tf-idf 기반 모델에 비해 어떻게 성능을 냈는가?
• RQ4 인간 평가자들이 모델이 선택한 템플릿을 tf-idf 기반 모델의 결과보다 유의미하게 더 관련성이 있다고 평가할 수 있는가?
• RQ5 내부 주문 데이터를 활용해 동적 콘텐츠 및 극성 인식 응답을 지원하는 데에 이 시스템의 잠재력은 어떠한가?

주요 결과

• 이중 인코더 모델은 평균 역순위(MRR) 0.685를 기록했으며, tf-idf 기반 모델(MRR = 0.562)보다 뚜렷이 뛰어나다.
• 모델은 정밀도@3에서 80.0%를 기록했고, tf-idf 기반 모델의 65.2%에 비해 상위 3개 응답 순위 정확도가 뛰어나다.
• 과거 고객 문의의 70% 이상이 선택된 템플릿에 의해 커버되었으며, 이는 폐쇄 도메인 내 강력한 커버리지 수준을 보여준다.
• 인간 평가자들이 모델이 선택한 응답에 평균 관련성 점수 2.08을 부여한 반면, tf-idf 기반 모델은 1.66점(유의수준 p < 0.05)을 기록했다.
• 모델은 100개의 질문 중 48개에서 상위 3개 내에 '매우 관련성 있음'(점수 = 3)으로 평가된 답변을 추천했고, tf-idf 기반 모델은 31개였다.
• 모델은 명시적 의도 애너테이션 또는 비드 시뮬레이션을 사용하지 않고도 높은 관련성과 커버리지를 달성할 수 있음을 입증했으며, 이는 구현의 단순화에 기여한다.