[논문 리뷰] Churn Intent Detection in Multilingual Chatbot Conversations and Social Media

Christian Abbet, Meryem M’hamdi외 5명|arXiv (Cornell University)|2018. 08. 25.

Sentiment Analysis and Opinion Mining참고 문헌 16인용 수 7

한 줄 요약

이 논문은 전이 학습과 다국어 단어 임베딩을 활용하여 소셜 미디어 및 챗봇 대화에서 이탈 의도를 탐지하기 위한 다국어 기반 신경망 모델을 제안한다. 영어 및 독일어 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 다국어 데이터로 훈련된 모델이 단일 언어 모델을 능가하고, 이탈 의도 패턴이 언어 및 커뮤니케이션 플랫폼 간에 일반화됨을 보여준다.

ABSTRACT

We propose a new method to detect when users express the intent to leave a service, also known as churn. While previous work focuses solely on social media, we show that this intent can be detected in chatbot conversations. As companies increasingly rely on chatbots they need an overview of potentially churny users. To this end, we crowdsource and publish a dataset of churn intent expressions in chatbot interactions in German and English. We show that classifiers trained on social media data can detect the same intent in the context of chatbots. We introduce a classification architecture that outperforms existing work on churn intent detection in social media. Moreover, we show that, using bilingual word embeddings, a system trained on combined English and German data outperforms monolingual approaches. As the only existing dataset is in English, we crowdsource and publish a novel dataset of German tweets. We thus underline the universal aspect of the problem, as examples of churn intent in English help us identify churn in German tweets and chatbot conversations.

연구 동기 및 목표

• 이력 사용자 행동 데이터가 필요 없이 텍스트 기반의 의도 탐지 기능을 제공함으로써 이탈 탐지의 쿨스타트 문제를 해결하기 위해.
• 사용자 불만이 점점 더 자동화된 시스템을 통해 이루어지는 챗봇 대화로까지 이탈 의도 탐지 범위를 확장하기 위해.
• 다국어 훈련이 영어 및 독일어 양쪽에서 성능 향상에 기여함을 보여줌으로써 이탈 의도 탐지가 언어에 관계없이 가능함을 입증하기 위해.
• 독일어 소셜 미디어 및 챗봇 상호작용에 대한 다국어 데이터셋을 공개하는 최초의 데이터셋을 제공하기 위해.
• 통합된 신경망 아키텍처를 사용하여 소셜 미디어에서 챗봇 대화로의 지식 전이가 가능하고 효과적인지 검증하기 위해.

제안 방법

• 사용자 텍스트 내의 문맥적 및 순차적 패턴을 포착하기 위해 합성곱, 순환, 자기주의 주의(attention) 레이어를 조합한 하이브리드 신경망 아키텍처를 제안한다.
• 영어 및 독일어 간 의미 표현을 정렬하기 위해 다국어 단어 임베딩을 사용하여 다국어 지식 전이를 가능하게 한다.
• 기존 영어 데이터셋을 보완하기 위해 통신 브랜드를 언급하는 독일어 트윗 1,000건을 수집하고 주석을 붙였다.
• 이탈 의도 탐지 목적의 1,000건의 영어 및 1,000건의 독일어 챗봇 대화를 생성하고 주석을 붙이기 위해 맞춤형 챗봇 플랫폼을 개발했다.
• 10겹 교차검증을 사용하여 단일 언어 및 다국어 훈련 설정을 소셜 미디어 및 챗봇 데이터 양쪽에서 비교 평가했다.
• 전이 학습을 활용하여 소셜 미디어 데이터로 훈련된 모델이 챗봇 대화로 일반화되는지, 그 반대의 경우도 마찬가지로 가능한지 평가했다.

실험 결과

연구 질문

• RQ1 소셜 미디어 데이터로 훈련된 이탈 의도 탐지 모델이 챗봇 대화로 효과적으로 일반화되는가?
• RQ2 다국어 단어 임베딩을 사용하면 영어와 같은 저자원 언어인 독일어에서 이탈 의도 탐지 성능이 향상되는가?
• RQ3 이탈 의도 표현 패턴이 언어 간 일관성이 있어 다국어 전이 학습이 가능한가?
• RQ4 소셜 미디어 및 챗봇 환경에서 단일 언어와 다국어 훈련 설정 간의 모델 성능 차이는 어떻게 변화하는가?
• RQ5 훈련 데이터가 서로 다른 모odalities(예: 트윗 vs. 챗봇 로그)에서 유래하더라도 통합된 모델이 영어 및 독일어 양쪽에서 이탈 의도를 탐지할 수 있는가?

주요 결과

• 제안된 모델은 영어 소셜 미디어 데이터에서 85.88%의 F1 스코어를 기록하여 이전 최신 기술 수준(SOTA)보다 2.03% 높게 성과를 냈다.
• 다국어 임베딩을 사용하여 영어 및 독일어 데이터를 병합해 훈련할 경우, 독일어의 F1 스코어는 7.8% 향상되었고, 영어의 경우 1.65% 향상되어 강력한 다국어 지식 전이 효과를 입증했다.
• 다국어 소셜 미디어 데이터로 훈련한 모델이 영어 챗봇 데이터에 대해 테스트할 때 F1 스코어가 2.34% 향상되어 소셜 미디어에서 챗봇 대화로의 일반화가 효과적임을 보였다.
• 다국어 모델은 단일 언어 모델이 잘못 분류하는 모호한 경우(예: 'I’d like to switch')에서도 이탈하지 않는 의도를 정확히 식별할 수 있었는데, 이는 더 풍부한 다국어 패턴 학습 덕분이었다.
• 챗봇 대화에서는 재현율(recall)이 정밀도(precision)를 초월하여, 모델이 잘못된 부정 결과(false negatives)를 극도로 경계함을 보여주며, 수동적인 고객 유지를 위한 핵심 요소임을 입증했다.
• 독일어 챗봇 대화에서 F1 스코어가 약간 감소했지만, 단일 언어 모델이 훈련 트윗과 테스트 대화 간 구조적 유사성 덕분에 잘 작동했으며, 이는 데이터 다양성 부족을 시사한다.