[논문 리뷰] Customer Sentiment Analysis using Weak Supervision for Customer-Agent Chat

Navdeep Jain|arXiv (Cornell University)|2021. 11. 28.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 사전 훈련된 감성 분석 모델과 도메인 특화 어휘 규칙을 결합한 레이블 함수를 사용하여, 고객-에이전트 채팅을 위한 RoBERTa 기반 감성 분류기 훈련을 위한 약한 감독 방법을 제안한다. 이 방법은 감정 표현이 복잡하고 맥락 및 전문 용어가 중요한 고객 서비스 환경에서 Google Cloud NLP와 같은 오프더슈트 API보다 뛰어난 성능을 보였다.

ABSTRACT

Prior work on sentiment analysis using weak supervision primarily focuses on different reviews such as movies (IMDB), restaurants (Yelp), products (Amazon).~One under-explored field in this regard is customer chat data for a customer-agent chat in customer support due to the lack of availability of free public data. Here, we perform sentiment analysis on customer chat using weak supervision on our in-house dataset. We fine-tune the pre-trained language model (LM) RoBERTa as a sentiment classifier using weak supervision. Our contribution is as follows:1) We show that by using weak sentiment classifiers along with domain-specific lexicon-based rules as Labeling Functions (LF), we can train a fairly accurate customer chat sentiment classifier using weak supervision. 2) We compare the performance of our custom-trained model with off-the-shelf google cloud NLP API for sentiment analysis. We show that by injecting domain-specific knowledge using LFs, even with weak supervision, we can train a model to handle some domain-specific use cases better than off-the-shelf google cloud NLP API. 3) We also present an analysis of how customer sentiment in a chat relates to problem resolution.

연구 동기 및 목표

• 대규모 레이블링 데이터에 의존하지 않고 고객-에이전트 채팅을 위한 감성 분석 모델을 개발하는 것.
• 사전 훈련된 감성 분석 모델과 맞춤형 어휘 규칙을 활용한 약한 감독의 효과를 도메인 특화 감성 분류에 대해 평가하는 것.
• 실제 고객 서비스 환경에서 Google Cloud NLP와 같은 오프더슈트 NLP API와의 성능을 비교하는 것.
• 채팅 중 감성 변화와 문제 해결 결과 간의 관계를 분석하는 것.

제안 방법

• 다섯 개의 레이블 함수를 활용: 일반 목적 감성 모델 세 종류(텍스트블롭, AFINN, VADER)와 도메인 특화 어휘 기반 레이블링 규칙 두 가지(긍정 및 부정 감성 전용).
• Snorkel 레이블 모델을 사용하여 각 인스턴스에 대해 레이블 함수의 정확도와 상관관계를 고려해 약한 레이블을 하나의 더 신뢰할 수 있는 레이블로 집계한다.
• 약한 레이블 데이터를 기반으로 대비 정규화 자기 훈련(Contrastive-regularized self-training, COSINE)을 사용해 RoBERTa를 미세조정하여 모델 일반화 능력을 향상시킨다.
• Snorkel 파이프라인을 사용해 약한 감독과 레이블 집계를 스케일러블하게 구현하고, 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 보류된 테스트 세트에서 미세조정된 RoBERTa 모델의 예측 결과와 Google Cloud NLP API의 결과를 비교한다.

실험 결과

연구 질문

• RQ1 도메인 특화 레이블 함수를 사용한 약한 감독이 오프더슈트 API보다 고객-에이전트 채팅의 감성 분류 정확도를 향상시킬 수 있는가?
• RQ2 도메인 특화 어휘 규칙의 통합이 복잡한 감성 표현에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 채팅 중 감성 변화 추세와 고객 문제 해결 상태 간의 관계는 어떠한가?
• RQ4 여러 출처(예: Textblob, AFINN, 맞춤 규칙 등)에서 유도된 약한 레이블이 최종 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• 다섯 개의 레이블 함수를 사용한 Snorkel 레이블 모델은 RoBERTa를 미세조정한 후 매크로 F1 점수 0.65를 기록했으며, Textblob만 사용한 모델(0.53)이나 AFINN만 사용한 모델(0.58)보다 뛰어난 성능을 보였다.
• 약한 감독을 통해 훈련된 RoBERTa 모델은 Google Cloud NLP API가 실패한 도메인 특화 감성 사례 100%를 정확히 분류했으며, 이는 경쟁사 언급이나 예의 바른 이별 인사와 같은 사례를 포함한다.
• 채팅이 긍정적인 감성으로 끝난 경우 문제 해결과 강하게 연관되어 있었고, 그렇지 않은 감성은 해결되지 않은 문제를 시사했다.
• 에이전트가 전화 연결이나 기술 지원 예약과 같은 대안을 제시할 경우, 채팅 종료 시 감성은 긍정, 중립, 부정으로 다양하게 나타났으며, 이는 감성이 항상 해결 여부를 직접적으로 반영하지는 않음을 시사한다.
• 약한 감독을 통해 훈련된 모델는 Google Cloud NLP API보다 도메인 특화 감성 표현에서 더 높은 정확도를 보였으며, 예를 들어 'ATT는 펌버와 함께 제공되며 가격은 80달러'라는 문장이 Comcast 맥락에서는 부정으로 간주되는 경우에도 이를 정확히 인식했다.