[논문 리뷰] Computational Analysis of Insurance Complaints: GEICO Case Study

Amir Karami, Noelle M. Pendergraft|arXiv (Cornell University)|2018. 06. 26.

Imbalanced Data Classification Techniques참고 문헌 18인용 수 21

한 줄 요약

이 연구는 주로 고객 서비스 및 보험 커버리지 문제에 초점이 맞춰진 1,371건의 부정적 온라인 리뷰를 분석하기 위해 주제 모델링(LDA)을 사용한 비지도 학습 계산 방법을 제안한다. 이 방법은 고객 서비스, 보험 커버리지 및 서류, 법적 문제, 비용/예상금액/결제 등 네 가지 카테고리에 걸쳐 총 30개의 구체적인 불만 주제를 파악하였다. 이는 비정형 텍스트 내 잠재적인 의미적 패턴을 드러내며, 60퍼센트 이상의 불만이 고객 서비스 및 커버리지 문제에 집중되어 있음을 확인하여 보험사가 서비스 품질을 향상시키기 위한 실질적인 통찰을 제공한다.

ABSTRACT

The online environment has provided a great opportunity for insurance policyholders to share their complaints with respect to different services. These complaints can reveal valuable information for insurance companies who seek to improve their services; however, analyzing a huge number of online complaints is a complicated task for human and must involve computational methods to create an efficient process. This research proposes a computational approach to characterize the major topics of a large number of online complaints. Our approach is based on using the topic modeling approach to disclose the latent semantic of complaints. The proposed approach deployed on thousands of GEICO negative reviews. Analyzing 1,371 GEICO complaints indicates that there are 30 major complains in four categories: (1) customer service, (2) insurance coverage, paperwork, policy, and reports, (3) legal issues, and (4) costs, estimates, and payments. This research approach can be used in other applications to explore a large number of reviews.

연구 동기 및 목표

• 수천 건의 비정형 온라인 보험 불만을 수작업으로 분석하는 데는 인간 분석가가 처리하기에 비현실적이므로 이를 해결하고자 한다.
• 비지도 텍스트 분석을 통해 GEICO의 부정적 온라인 리뷰에서 주요 주제와 잠재 주제를 식별하고 분류하고자 한다.
• 다른 보험사 및 산업 분야에 적용 가능한 확장성 있고 비지도 학습 기반의 방법을 개발하고자 한다.
• 특히 고객 서비스 및 정책 관련 문제에 초점을 맞춰 특정 불만 카테고리를 개선함으로써 보험사가 고객 만족도를 높일 수 있는 실질적인 통찰을 제공하고자 한다.

제안 방법

• ConsumerAffairs.com에서 1,371건의 GEICO 리뷰(1점 및 2점)를 수집하여 부정적 피드백에 집중하였다.
• 반복되는 어구와 초기 주제 패턴을 파악하기 위해 n-gram 분석(bigram)을 수행하였으며, 표준 정지어 목록을 사용해 정지어를 제거하였다.
• 라벨이 없는 학습 데이터가 필요로 하지 않는 비지도 잠재 딜리흐트 할당(LDA) 주제 모델링을 적용하여 잠재적인 의미 주제를 탐색하였다.
• 연구자 간의 합의를 통해 30개의 구체적인 주제를 주석 달고 라벨링하였으며, 이를 고객 서비스, 보험 커버리지/서류, 법적 문제, 비용/예상금액/결제 등 네 가지 핵심 카테고리로 분류하였다.
• 불만의 빈도와 분포를 평가하고 서비스 개선의 우선순위를 정하기 위해 주제 분포를 카테고리별로 시각화하였다.
• 결과의 재현성과 투명성을 확보하기 위해 공개된 GitHub에 호스팅된 데이터셋을 사용하였다.

실험 결과

연구 질문

• RQ1 GEICO에 대한 대규모 부정적 온라인 리뷰 코퍼스에서 지배적인 주제와 잠재 주제는 무엇인가?
• RQ2 라벨이 없는 학습 데이터 없이도 비지도 주제 모델링이 비정형 보험 불만 데이터에서 의미적 패턴을 효과적으로 드러내는가?
• RQ3 고객 서비스, 커버리지, 법적 문제, 재정 관련 불만 중 어느 카테고리가 GEICO의 부정적 리뷰에서 지배적인가?
• RQ4 사용자들이 GEICO를 프로그레시브, 올스테이트, 스테이트 팜과 같은 경쟁사들과 비교하는 정도는 어느 정도인가?
• RQ5 온라인 리뷰의 계산 기반 분석이 보험 서비스 제공 및 고객 만족도 향상에 어떻게 기여할 수 있는가?

주요 결과

• 1,371건의 부정적 GEICO 리뷰에서 30개의 구체적인 불만 주제를 식별하여 고객 불만의 심각한 패턴을 드러냈다.
• 식별된 주제의 60퍼센트 이상이 고객 서비스(C1)와 보험 커버리지, 서류, 정책, 보고서(C2) 카테고리에 속해 있어 이들이 주요 애로점임을 확인하였다.
• 가장 빈번한 불만 주제로는 무례하거나 도움이 되지 않는 직원(T20: '무례한 직원'), 보상 및 환급을 기다리는 장시간 대기(T19: '환급을 기다리는 장시간 대기'), 정당한 청구를 거부하는 것(T28: '청구 거부') 등이 있었다.
• 사용자들은 자주 GEICO를 경쟁사와 비교하였으며, 특히 프로그레시브, 올스테이트, 스테이트 팜이 리뷰에서 가장 자주 언급된 대안이었다.
• 재정 및 비용 관련 불만이 두드러졌으며, 보험 청구 예상 금액 문제(T11: '전체 손상 차량에 대한 낮은 예상 금액'), 의료비 부담(T22: '의료비'), 정책 취소 후 예상치 못한 청구(T4: '취소 후 청구') 등이 있었다.
• 특히 복잡한 청구에서 중요한 문제로 나타난 법적 및 서류 문제로는 책임 소재 보고서의 불일치(T9: '책임 소재 보고서 불일치'), DMV와의 연락(T25: 'DMV와의 연락') 등이 있었다.