[논문 리뷰] Production Ready Chatbots: Generate if not Retrieve

Aniruddha Tammewar, Monik Pamecha외 3명|arXiv (Cornell University)|2017. 11. 01.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 실제 응용에서 스케줄링 알림을 향상시키기 위해 신경 대화 모델과 규칙 기반 그래프 대화 시스템을 결합한 하이브리드 챗봇 시스템을 제안한다. 그래프 시스템의 높은 정밀도와 신경 응답 생성의 생성 유연성을 활용함으로써, 하이브리드 모델은 복잡하고 도메인 제한된 질의에 대해 규칙 기반 베이스라인보다 더 높은 리콜과 강건성을 달성한다.

ABSTRACT

In this paper, we present a hybrid model that combines a neural conversational model and a rule-based graph dialogue system that assists users in scheduling reminders through a chat conversation. The graph based system has high precision and provides a grammatically accurate response but has a low recall. The neural conversation model can cater to a variety of requests, as it generates the responses word by word as opposed to using canned responses. The hybrid system shows significant improvements over the existing baseline system of rule based approach and caters to complex queries with a domain-restricted neural model. Restricting the conversation topic and combination of graph based retrieval system with a neural generative model makes the final system robust enough for a real world application.

연구 동기 및 목표

• 스케줄링 작업을 위한 다양한 사용자 질의를 처리하는 데 있어 규칙 기반 시스템의 한계를 해결하기 위해.
• 문법적 정확성과 정밀도를 유지하면서 대화 시스템의 리콜을 향상시키기 위해.
• 복잡하고 도메인 특화된 질의를 효과적으로 처리할 수 있는 프로덕션 수준의 챗봇을 개발하기 위해.
• 신경 생성을 구조적 검색과 통합하여 실생활 응용에서의 강건성을 향상시키기 위해.

제안 방법

• 스케줄링 작업을 위한 높은 정밀도와 문법적 정확한 응답을 보장하기 위해 규칙 기반 그래프 대화 시스템을 사용한다.
• 도메인 제한된 신경 대화 모델이 단어 단위로 응답을 생성함으로써 다양한 사용자 입력에 대한 민첩성을 확보한다.
• 하이브리드 아키텍처는 그래프 시스템의 정밀도와 신경 모델의 생성 능력을 조합하여 복잡한 질의를 처리한다.
• 학습 효율성과 응답 신뢰도 향상을 위해 대화 도메인을 제한한다.
• 신경 모델은 도메인 특화된 데이터셋으로 훈련되어 맥락에 적절한 응답을 생성하도록 한다.
• 두 구성 요소는 신경 모델이 개방형 질의를 처리하고, 그래프 시스템이 구조적 작업에서 정확성을 보장하도록 통합된다.

실험 결과

연구 질문

• RQ1 신경 생성과 규칙 기반 검색을 조합한 하이브리드 시스템이 스케줄링 챗봇의 성능을 향상시킬 수 있는가?
• RQ2 생성 모델의 통합이 응답 품질을 희생시키지 않고 리콜을 어떻게 향상시키는가?
• RQ3 도메인 제한이 신경 대화 모델의 강건성과 신뢰도에 어느 정도 기여하는가?
• RQ4 이러한 하이브리드 시스템이 실생활 배포에서 순수 규칙 기반 또는 순수 신경 기반 베이스라인을 능가할 수 있는가?

주요 결과

• 하이브리드 시스템은 복잡하고 다양한 사용자 질의를 처리하는 데 있어 베이스라인 규칙 기반 시스템보다 뚜렷이 뛰어난 성능을 보였다.
• 신경 생성의 통합은 규칙 기반 구성 요소의 문법 정확도와 정밀도를 유지하면서도 리콜을 증가시켰다.
• 도메인 제한된 신경 모델은 높은 신뢰도로 스케줄링 작업에 대한 효과적인 응답 생성을 가능하게 하였다.
• 검색 기반 정밀도와 생성 기반 민첩성의 조합은 실생활 응용에 적합한 강건한 시스템을 만들어냈다.