[논문 리뷰] Lingke: a Fine-grained Multi-turn Chatbot for Customer Service

Pengfei Zhu, Zhuosheng Zhang외 3명|arXiv (Cornell University)|2018. 08. 01.

Topic Modeling참고 문헌 18인용 수 25

한 줄 요약

Lingke는 고객 서비스를 위한 세밀한, 검색 증강형 다단계 대화 모델로, 제품 소개 문서를 활용하여 정확한 응답을 생성하도록 설계되었습니다. 비구조화된 텍스트에서 답변을 정제하는 파이프라인을 사용하며, 주의 집중형 순차적 문맥-응답 매칭을 통해 다단계 대화 성능을 향상시켜 복잡한 상호작용에서 응답의 관련성을 크게 향상시킵니다.

ABSTRACT

Traditional chatbots usually need a mass of human dialogue data, especially when using supervised machine learning method. Though they can easily deal with single-turn question answering, for multi-turn the performance is usually unsatisfactory. In this paper, we present Lingke, an information retrieval augmented chatbot which is able to answer questions based on given product introduction document and deal with multi-turn conversations. We will introduce a fine-grained pipeline processing to distill responses based on unstructured documents, and attentive sequential context-response matching for multi-turn conversations.

연구 동기 및 목표

• 다단계 고객 서비스 대화를 처리하는 데 있어 전통적인 지도 학습 기반 챗봇의 한계를 해결하기 위해.
• 대규모 인간 주석이 달린 대화 데이터셋에 대한 의존도를 줄이기 위해 비구조화된 제품 문서를 활용하기 위해.
• 문서 기반 추론을 통해 다단계 상호작용에서 응답 정확도와 문맥 일관성을 향상시키기 위해.
• 비구조화된 제품 설명에서 정확한 답변을 추출하기 위한 세밀한 파이프라인을 개발하기 위해.
• 다단계 대화 상태를 유지하기 위해 순차적 문맥과 응답에 대한 주의 집중형 매칭 메커니즘을 도입하기 위해.

제안 방법

• 비구조화된 제품 소개 문서에서 관련 정보를 추출하고 정제하기 위해 세밀한 파이프라인을 사용합니다.
• 정보 검색 기법을 활용해 관련 문서 조각을 검색하여 응답을 근거화합니다.
• 주장 집중형 순차적 문맥-응답 매칭 모듈이 대화 턴 간의 장거리 의존성을 포착합니다.
• 자기 주의 메커니즘을 통해 문맥 표현을 학습하여 대화 이력과 후보 응답을 정렬합니다.
• 다중 작업 학습 프레임워크를 사용해 응답 관련성과 문서 근거성을 동시에 최적화합니다.
• 순차적 문맥을 인코딩하고 응답 주의를 동적으로 업데이트함으로써 다단계 대화 상태를 유지합니다.

실험 결과

연구 질문

• RQ1 대규모 대화 데이터셋에 의존하지 않고도 검색 증강형 챗봇이 다단계 고객 서비스 대화에서 높은 성능을 달성할 수 있는가?
• RQ2 세밀한 파이프라인이 비구조화된 제품 문서에서 정확한 답변을 얼마나 효과적으로 추출할 수 있는가?
• RQ3 주의 집중형 순차적 문맥-응답 매칭이 다단계 상호작용에서 응답의 일관성을 얼마나 향상시키는가?
• RQ4 문서 근거화가 복잡한 질의에서 응답 정확도와 관련성에 어떻게 기여하는가?

주요 결과

• 검색 증강 설계 덕분에 Lingke는 오직 제품 문서만을 사용해 정확한 응답을 생성할 수 있어 주석이 달린 대화 데이터에 대한 의존도를 줄였습니다.
• 세밀한 파이프라인이 비구조화된 문서에서 관련 정보를 효과적으로 정제하여 답변 정밀도를 향상시켰습니다.
• 주의 집중형 순차적 문맥-응답 매칭 메커니즘이 다단계 턴 간의 응답 일관성을 향상시켰습니다.
• 기본 지도 학습 기반 베이스라인 대비 Lingke는 다단계 고객 서비스 작업에서 뛰어난 성능을 보였습니다.