[논문 리뷰] Real-world Conversational AI for Hotel Bookings

Bai Li, Nanyi Jiang외 3명|arXiv (Cornell University)|2019. 08. 27.

Topic Modeling참고 문헌 16인용 수 5

한 줄 요약

이 논문은 자연어 상호작용을 통해 호텔 예약을 위한 생산 규모의 대화형 AI 시스템을 제시한다. 이 시스템은 의도 분류, 명명된 실체 인식, 정보 검색을 위한 NLP 모델과 통합된 프레임 기반 대화 관리자 기반으로 구성되어 있다. BERT 미세조정을 통해 89.5%의 top-1 재현율을 달성하였으며, 기준 모델들을 크게 앞서며 실시간 배포에서 높은 예약 완료율과 낮은 에이전트 수동 이관 비율을 통해 실제 적용에서의 효과성을 입증하였다.

ABSTRACT

In this paper, we present a real-world conversational AI system to search for and book hotels through text messaging. Our architecture consists of a frame-based dialogue management system, which calls machine learning models for intent classification, named entity recognition, and information retrieval subtasks. Our chatbot has been deployed on a commercial scale, handling tens of thousands of hotel searches every day. We describe the various opportunities and challenges of developing a chatbot in the travel industry.

연구 동기 및 목표

• 자연어 상호작용을 활용한 확장 가능하고 생산용으로 사용 가능한 호텔 예약을 위한 대화형 AI 시스템을 개발하기.
• 의도 이해, 실체 인식, 정보 검색을 포함한 여행 전자상거래 분야의 실세계 NLP 과제를 해결하기.
• 기계 학습 모델과 인간의 피드백을 통합하여 모델의 강건성과 커버리지 향상시키기.
• 실세계 메트릭스인 에이전트 수동 이관 비율과 예약 완료율을 사용하여 시스템 성능을 검증하기.

제안 방법

• 시스템은 사용자 쿼리 간 슬롯 채우기를 안내하기 위해 유한 상태 오토마타를 사용하는 프레임 기반 대화 관리 아키텍처를 사용한다.
• 의도 분류에는 다중 클래스 모델을 사용하여 예약, 도움 요청, 명확화 요청 등의 사용자 의도를 탐지한다.
• 명명된 실체 인식(NER)은 사용자 메시지에서 날짜, 위치, 예산과 같은 핵심 정보를 추출한다.
• 정보 검색(IR)은 신경망 모델을 사용하여 호텔 매칭 순위를 매긴다. 이에는 평균화된 GloVe 임베딩과 [CLS] 토큰 분류를 통한 BERT 미세조정이 포함된다.
• 비교를 위해 규칙 기반 유니그램 기반 모델을 사용하며, 모델은 ElasticSearch 결과와 함께 9,000개의 주석 처리된 검색 메시지로 훈련된다.
• 외부 검증은 실세계 메트릭스인 에이전트 수동 이관 비율과 예약 완료율을 사용하여 시스템 성능를 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 프레임 기반 대화 시스템이 자연어 입력을 통해 실세계 호텔 예약 대화를 효과적으로 관리할 수 있는가?
• RQ2 여행 쿼리에 대해 의도 분류, 명명된 실체 인식, 정보 검색에서 가장 높은 정확도를 달성하는 NLP 모델 아키텍처는 무엇인가?
• RQ3 BERT 미세조정은 전통적인 신경망 및 규칙 기반 기준 모델에 비해 사용자 쿼리와 관련된 호텔 결과를 매칭하는 데 어떻게 비교되는가?
• RQ4 실세계 메트릭스인 에이전트 수동 이관 및 예약 완료율이 기반 NLP 모델의 성능을 어느 정도 반영하는가?

주요 결과

• BERT 미세조정 모델은 정보 검색 작업에서 89.5%의 top-1 재현율과 96.1%의 F1 스코어를 달성하였으며, 평균화된 GloVe 기준 모델을 크게 앞섰다.
• 시스템은 실사용 환경에서 에이전트 수동 이관 비율을 감소시키고 예약 완료율을 높였으며, 실세계 적용에서 NLP 파이프라인의 효과성을 입증하였다.
• 낮은 신뢰도 예측에 대해 인간 에이전트를 통합함으로써 유용한 피드백 데이터를 확보하였으며, 이는 지속적인 모델 개선을 가능하게 하였다.
• 짧은 텍스트 매칭에 대해 BERT를 미세조정하여 사용함으로써 호텔 검색에서 매우 효과적인 성능을 보였으며, 실제 사용자 쿼리에 대해 강력한 일반화 능력을 입증하였다.