[논문 리뷰] Natural Language Processing in Customer Service: A Systematic Review

Malak Mashaabi, Areej Alotaibi외 3명|arXiv (Cornell University)|2022. 12. 16.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 체계적 리뷰는 2015년에서 2022년 사이에 고객 서비스 분야의 자연어 처리(NLP) 응용을 분석하며, 분야, 데이터셋, 평가 지표 및 연구 추세를 다룹니다. 대화형 봇과 질문-답변 시스템이 주요 도구로 부각되며, 전자상거래, 소셜 미디어 및 일반 서비스 분야에서 주로 응용되고 있습니다. 정확도, 정밀도, 재현율 및 F1이 표준 평가 지표로 사용되며, 향후 연구에서는 데이터 다양성 향상과 정서 이해 능력 향상이 필요하다고 제안합니다.

ABSTRACT

Artificial intelligence and natural language processing (NLP) are increasingly being used in customer service to interact with users and answer their questions. The goal of this systematic review is to examine existing research on the use of NLP technology in customer service, including the research domain, applications, datasets used, and evaluation methods. The review also looks at the future direction of the field and any significant limitations. The review covers the time period from 2015 to 2022 and includes papers from five major scientific databases. Chatbots and question-answering systems were found to be used in 10 main fields, with the most common use in general, social networking, and e-commerce areas. Twitter was the second most commonly used dataset, with most research also using their own original datasets. Accuracy, precision, recall, and F1 were the most common evaluation methods. Future work aims to improve the performance and understanding of user behavior and emotions, and address limitations such as the volume, diversity, and quality of datasets. This review includes research on different spoken languages and models and techniques.

연구 동기 및 목표

• 2015년에서 2022년 사이에 고객 서비스 분야의 NLP 연구 동향을 연구 분야, 응용 분야 및 방법론 측면에서 종합적으로 분석하기.
• NLP 기반 고객 서비스 연구에서 가장 흔히 사용되는 데이터셋과 평가 지표를 특정하기.
• 기존 연구의 한계, 특히 데이터 품질, 다양성 및 모델이 사용자 정서를 이해하는 능력 측면에서 분석하기.
• 향후 연구 방향 탐색, 예를 들어 성능 향상 및 행동/정서 이해 능력 향상에 초점 맞추기.
• 다국어 및 다분야 고객 서비스 환경에서 적용된 NLP 기법과 모델에 대한 종합적 개요 제공하기.

제안 방법

• 2015–2022년 기간 동안을 다루는 다섯 개의 주요 과학 데이터베이스를 활용해 체계적 문헌 리뷰를 수행함.
• 고객 서비스 분야의 NLP 응용, 특히 대화형 봇과 질문-답변 시스템에 중점을 둔 심층 검토된 논문을 선별 및 분석함.
• 응용 분야, 데이터셋 사용, 정확도, 정밀도, 재현율 및 F1과 같은 평가 지표를 기준으로 연구를 분류함.
• 다국어 NLP 접근법을 포함한 모델 및 기법을 검토하여 다국어 적용 가능성 평가함.
• 선택된 논문의 주제적 및 정량적 분석을 기반으로 연구 추세, 한계 및 향후 방향성에 대한 통합적 분석 수행함.
• 특히 원천 데이터셋과 트위터 데이터셋의 흔함을 고려해 데이터셋의 품질, 양, 다양성 평가함.

실험 결과

연구 질문

• RQ1 고객 서비스 분야에서 NLP를 가장 자주 활용하는 응용 분야는 무엇이며, 주요 활용 사례는 무엇인가요?
• RQ2 고객 서비스 분야의 NLP 연구에서 가장 흔히 사용되는 데이터셋은 무엇이며, 크기와 다양성 측면에서 어떻게 비교될 수 있나요?
• RQ3 고객 서비스 분야의 NLP 모델 평가에 가장 널리 사용되는 평가 지표는 무엇이며, 이는 모델 성능을 어떻게 반영하나요?
• RQ4 현재 고객 서비스 분야의 NLP 연구에서 가장 큰 한계는 무엇이며, 특히 데이터 품질과 정서 이해 능력 측면에서 어떻게 나타나나요?
• RQ5 고객 서비스 분야의 NLP에서 새로운 연구 방향은 무엇이며, 기존의 격차를 어떻게 보완할 수 있을까요?

주요 결과

• 대화형 봇과 질문-답변 시스템이 가장 흔한 NLP 응용으로, 10개의 주요 분야에 걸쳐 활용되었으며, 전자상거래, 소셜 네트워킹 및 일반 고객 서비스 분야에서 가장 빈번히 사용됨.
• 트위터가 두 번째로 자주 사용된 데이터셋이었으며, 원천 데이터셋 또는 기업 내부에서 특정 응용을 위해 수집한 데이터셋을 사용한 연구도 다수 존재함.
• 정확도, 정밀도, 재현율 및 F1이 가장 널리 보고된 평가 지표로, 분류 및 의도 인식 성능에 대한 강한 집중을 나타냄.
• 진전이 있었음에도 불구하고, 연구의 한계로는 부족한 데이터 다양성, 제한된 다국어 커버리지 및 사용자 정서와 행동적 맥락을 충분히 모델링하지 못하는 점이 있음.
• 향후 연구는 모델의 해석 가능성 향상, 정서 및 맥락 이해 능력 향상, 더 다양한 대표성 있는 샘플을 포함한 데이터셋 확장에 초점이 맞출 것으로 기대됨.
• 이 리뷰는 고객 서비스 분야의 NLP가 더 개인화되고 맥락 인식 능력을 갖춘 시스템으로 진화하고 있음을 확인했지만, 데이터 품질과 확장성 문제는 여전히 중요한 과제로 남아 있음.