[논문 리뷰] A Financial Service Chatbot based on Deep Bidirectional Transformers

Yu Shi, Yuxin Chen외 1명|arXiv (Cornell University)|2020. 02. 17.

Topic Modeling참고 문헌 53인용 수 9

한 줄 요약

이 논문은 고정밀도로 381개의 의도를 분류하기 위해 미세튜닝된 BERT 모델을 기반으로 구축된 작업 중심의 금융 서비스 챗봇 AVA를 제시한다. 본 논문은 몬테카를로 드롭아웃과 엔트로피 기반 임계값을 활용한 새로운 불확실성 측정 기법을 도입하여 승격 결정을 향상시키며, BERT의 마스킹된 언어 모델링 기능을 활용해 자동으로 철자 오류를 수정함으로써 노이즈가 많은 입력에서도 의도 분류의 강건성을 높인다.

ABSTRACT

We develop a chatbot using Deep Bidirectional Transformer models (BERT) to handle client questions in financial investment customer service. The bot can recognize 381 intents, and decides when to say "I don't know" and escalates irrelevant/uncertain questions to human operators. Our main novel contribution is the discussion about uncertainty measure for BERT, where three different approaches are systematically compared on real problems. We investigated two uncertainty metrics, information entropy and variance of dropout sampling in BERT, followed by mixed-integer programming to optimize decision thresholds. Another novel contribution is the usage of BERT as a language model in automatic spelling correction. Inputs with accidental spelling errors can significantly decrease intent classification performance. The proposed approach combines probabilities from masked language model and word edit distances to find the best corrections for misspelled words. The chatbot and the entire conversational AI system are developed using open-source tools, and deployed within our company's intranet. The proposed approach can be useful for industries seeking similar in-house solutions in their specific business domains. We share all our code and a sample chatbot built on a public dataset on Github.

연구 동기 및 목표

• 콜 처리 시간과 전문가 의존도를 줄이기 위해 신뢰성 있고 내부 개발된 작업 중심의 금융 고객 서비스 챗봇을 개발하는 것.
• 범위를 벗어나거나 모호한 질의를 다루는 도전 과제를 해결하기 위해 불확실성 인식 기반 의사결정을 통해 정확한 인간 전문가 승격을 가능하게 하는 것.
• 실제 노이즈가 많은 입력 환경에서 BERT 기반 자동 철자 교정을 통합함으로써 의도 분류의 강건성을 향상시키는 것.
• 모델 정제 및 아키텍처의 단순화를 통해 정확도 손실을 최소화하면서 추론 효율성을 최적화하는 것.
• 오픈소스 도구와 모델을 사용해 생산 환경에 바로 배포 가능한 대화형 AI 시스템을 제공하는 것.

제안 방법

• 도메인 특화 훈련 데이터를 사용해 381개의 금융 서비스 의도에 대해 BERT-base를 미세튜닝하여 의도 분류를 수행한다.
• 예측 불확실성을 추정하기 위해 추론 중 몬테카를로 드롭아웃(MCD)을 적용하여 다양한 드롭아웃 마스크를 사용한 다중 순방향 전파를 수행한다.
• 예측 신뢰도를 평가하기 위해 정보 엔트로피와 MCD 예측의 분산이라는 두 가지 불확실성 지표를 평가한다.
• 확신 있는 예측, 불확실한 예측, 범위를 벗어난 질의를 구분하는 데 최적화된 결정 임계값을 도출하기 위해 혼합정수계획법을 적용한다.
• 의도 분류 이전에 잘못된 단어를 식별하고 수정하기 위해 BERT의 마스킹된 언어 모델과 단어 편집 거리(예: 레벤슈타인)를 통합한다.
• Rasa, PyTorch, TensorFlow 등의 오픈소스 도구를 사용해 AWS SageMaker에 RESTful API로 호스팅하고, Bot Framework를 통해 Microsoft Teams에 통합하여 시스템을 구현한다.

실험 결과

연구 질문

• RQ1 생산용 챗봇에서 BERT 기반 의도 분류의 불확실성은 어떻게 효과적으로 측정하고, 승격 결정 향상에 활용할 수 있는가?
• RQ2 실제 금융 NLP 작업에서 드롭아웃 샘플링의 엔트로피와 분산이 불확실성 지표로써 상대적으로 어떤 성능을 보이는가?
• RQ3 BERT의 사전 훈련된 언어 모델링 기능을 자동 철자 교정에 효과적으로 재사용하여 의도 분류의 강건성을 향상시킬 수 있는가?
• RQ4 BERT 모델 압축(주의 헤드와 히든 레이어 수 감소)을 통해 정확도 손실을 최소화하면서 추론 처리량을 높이고 지연 시간을 줄일 수 있는 정도는 어느 정도인가?
• RQ5 불확실성 인식 분류와 철자 교정을 융합한 하이브리드 접근 방식은 닫힌 도메인 금융 챗봇의 신뢰성을 얼마나 향상시킬 수 있는가?

주요 결과

• 엔트로피 기반 불확실성 임계값을 적용한 몬테카를로 드롭아웃은 범위를 벗어난 질의를 탐지하고 승격하는 데 있어 봇의 능력을 크게 향상시켰으며, 잘못된 응답을 줄였다.
• 전체 BERT-Small 아키텍처(12개의 주의 헤드, 12개의 히든 레이어)에서 의도 분류 정확도는 94.4%를 기록했으며, 주의 헤드와 히든 레이어를 각각 6개로 줄였을 때 정확도는 1.6% 감소했다.
• 최소 최적화 모델(6A-6H)은 원본 BERT-Small 대비 처리량을 두 배로 높여 18.1건/초의 처리 속도를 달성했고, 지연 시간은 552ms로 반으로 줄었으며, 성능 저하도 오직 1.6%에 그쳤다.
• BERT의 마스킹된 언어 모델 확률과 편집 거리 기반 철자 교정 모듈은 사용자 입력에서 발생하는 철자 오류로 인한 의도 분류 오류를 효과적으로 줄였다.
• 혼합정수계획법을 통해 불확실성 기반 승격에 최적화된 결정 임계값을 성공적으로 도출했으며, 범위를 벗어난 질의 탐지에서 정밀도와 재현율의 균형을 잘 유지했다.
• 전체 시스템은 오픈소스 도구를 사용해 내부 솔루션으로 성공적으로 구현되어 기업 수준의 금융 챗봇에 대한 실현 가능성과 확장성을 입증했다.