[논문 리뷰] A comprehensive solution to retrieval-based chatbot construction

Kristen Moore, Shenjun Zhong외 5명|arXiv (Cornell University)|2021. 06. 11.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 레이블이 없는 대화 기록을 사용하여 자기지도 대비 학습, 계층적 RNN 아키텍처, 캐시된 발화 임베딩, 그리고 사전 응답 및 약한 레이블이 부여된 데이터셋을 체계적으로 생성하는 방법을 활용해 종단 간 검색 기반 챗봇을 구축하기 위한 종단 간 프레임워크를 제시한다. 자기지도 대비 학습 모델은 이진 및 다중 클래스 분류 베이스라인을 능가했으며, 이는 대규모 자기지도 학습이 실제 운영 환경에서 비용이 많이 드는 수동 레이블링이 필요 없음을 보여준다.

ABSTRACT

In this paper we present the results of our experiments in training and deploying a self-supervised retrieval-based chatbot trained with contrastive learning for assisting customer support agents. In contrast to most existing research papers in this area where the focus is on solving just one component of a deployable chatbot, we present an end-to-end set of solutions to take the reader from an unlabelled chatlogs to a deployed chatbot. This set of solutions includes creating a self-supervised dataset and a weakly labelled dataset from chatlogs, as well as a systematic approach to selecting a fixed list of canned responses. We present a hierarchical-based RNN architecture for the response selection model, chosen for its ability to cache intermediate utterance embeddings, which helped to meet deployment inference speed requirements. We compare the performance of this architecture across 3 different learning objectives: self-supervised contrastive learning, binary classification, and multi-class classification. We find that using a self-supervised contrastive learning model outperforms training the binary and multi-class classification models on a weakly labelled dataset. Our results validate that the self-supervised contrastive learning approach can be effectively used for a real-world chatbot scenario.

연구 동기 및 목표

• 완전히 레이블링된 데이터셋이 필요 없이 고객 지원 에이전트를 위한 배포 가능한 검색 기반 챗봇을 개발하는 것.
• 임베딩 기반 클러스터링과 전문가의 보완을 통해 비정형 대화 기록에서 고품질의 사전 응답 목록을 구성하는 과제를 해결하는 것.
• 원시 대화 기록을 기반으로 대비 학습을 활용해 수동 레이블링을 피하는 확장 가능한 자기지도 학습 파이프라인을 구축하는 것.
• 캐시된 발화 임베딩을 활용한 계층적 RNN 아키텍처를 통해 CPU 배포를 위한 모델 추론 속도를 최적화하는 것.
• 실제 고객 서비스 환경에서 자기지도 대비 학습을 수동 레이블링 기반 모델(이진 및 다중 클래스 분류)과 비교하는 것.

제안 방법

• 에이전트의 응답을 양성 샘플로, 무작위로 선택된 발화를 음성 샘플로 삼아, 스킵-스토리 텍스트 임베딩을 활용해 음성 샘플링을 수행함으로써 자기지도 학습 데이터셋을 구성함.
• CPU에서의 추론 속도를 높이기 위해 중간 단계의 발화 임베딩을 캐시하는 계층적 RNN 아키텍처를 구축함.
• 에이전트 응답과 사전 응답 간 정확한(정규식 기반) 및 흐린(임베딩 기반) 매칭을 활용해 약한 레이블이 부여된 데이터셋을 생성함.
• 동일한 사전 응답 목록과 데이터셋 분할을 사용하여 대비 학습, 이진 분류, 다중 클래스 분류 모델을 각각 학습함.
• 사전 응답 제안 시기에 적절한 판단을 내리기 위해 신뢰도 임계값 기반 메커니즘을 적용함.
• 캐시된 임베딩과 효율적인 유사도 계산을 활용해 모델 서빙 파이프라인을 최적화하여 실시간 추론 요구사항을 충족함.

실험 결과

연구 질문

• RQ1 자기지도 대비 학습이 인간 레이블링이 전혀 없는 상태에서도 응답 검색 모델을 효과적으로 학습시킬 수 있는가?
• RQ2 실제 대화 기록 데이터셋에서 자기지도 대비 학습 모델의 성능은 수동 레이블링 기반 모델(이진 및 다중 클래스 분류)과 비교해 어떻게 되는가?
• RQ3 계층적 RNN 아키텍처에서 발화 임베딩을 캐싱함으로써 CPU 배포 시 추론 속도 향상 정도는 어느 정도인가?
• RQ4 다양한 음성 샘플링 전략은 모델 성능에 어떤 영향을 미치는가, 특히 신뢰도 및 재현율 측면에서 어떻게 되는가?
• RQ5 새로운 사전 응답을 추가할 때 훈련 시간, 추론 속도, 확장성 간 실질적인 성과는 어떤가?

주요 결과

• 자기지도 대비 학습 모델은 내부 대화 기록 데이터셋에서 응답 선택 정확도와 상위 1위 재현율 측면에서 이진 및 다중 클래스 분류 모델을 모두 능가함.
• 다중 클래스 분류 모델은 가장 높은 예측 신뢰도를 보였으며, 이는 응답 제안을 위한 신뢰성 있는 임계값 설정을 용이하게 함.
• 캐시된 임베딩을 활용한 계층적 RNN 아키텍처는 실시간 CPU 배포에 필요한 충분한 추론 속도를 확보했으며, 복잡한 어텐션 기반 모델보다도 지연 시간 측면에서 뛰어남.
• 무작위 음성 샘플링은 이진 및 대비 학습 모델 모두에서 열악한 성능을 유도했으며, 이는 음성 샘플링의 품질이 임베딩 공간의 품질에 상당한 영향을 미친다는 것을 시사함.
• 자기지도 학습 접근법은 재학습 없이도 사전 응답 목록을 쉽게 확장할 수 있었으며, 반면 수동 레이블링 기반 모델은 목록 업데이트 후 재학습이 필요함.
• 완벽하지는 않지만 약한 레이블이 부여된 데이터셋은 수동 레이블링 기반 모델의 효과적인 훈련을 가능하게 했으며, 원시 대화 기록에서 자동으로 레이블을 생성하는 것이 실현 가능함을 검증함.