[論文レビュー] Computational Analysis of Insurance Complaints: GEICO Case Study

Amir Karami, Noelle M. Pendergraft|arXiv (Cornell University)|Jun 26, 2018

Imbalanced Data Classification Techniques参考文献 18被引用数 21

ひとこと要約

本研究では、トピックモデリング（LDA）を用いた非教師あり計算的手法を提案し、GEICOの1,371件のネガティブオンラインレビューを分析した。4つのカテゴリー（カスタマーサービス、保険カバレッジおよび書類手続き、法的問題、コスト／見積もり／支払い）にまたがる30の明確な苦情トピックを特定した。この手法により、非構造化テキストに潜む潜在的な意味的パターンが解明され、60％以上の苦情がカスタマーサービスおよびカバレッジ関連に集中していることが明らかになった。これにより、保険会社がサービス品質を向上させるための実行可能なイン사이트が得られる。

ABSTRACT

The online environment has provided a great opportunity for insurance policyholders to share their complaints with respect to different services. These complaints can reveal valuable information for insurance companies who seek to improve their services; however, analyzing a huge number of online complaints is a complicated task for human and must involve computational methods to create an efficient process. This research proposes a computational approach to characterize the major topics of a large number of online complaints. Our approach is based on using the topic modeling approach to disclose the latent semantic of complaints. The proposed approach deployed on thousands of GEICO negative reviews. Analyzing 1,371 GEICO complaints indicates that there are 30 major complains in four categories: (1) customer service, (2) insurance coverage, paperwork, policy, and reports, (3) legal issues, and (4) costs, estimates, and payments. This research approach can be used in other applications to explore a large number of reviews.

研究の動機と目的

• 人間のアナリストが数千件の非構造化オンライン保険苦情を手作業で分析することは現実的ではないという課題に対処するため。
• 計算テキスト分析を用いて、GEICOのネガティブオンラインレビューに潜む主なテーマと潜在的トピックを同定・分類するため。
• 他の保険会社や業界に適用可能なスケーラブルな非教師あり手法を構築するため。
• 特にカスタマーサービスおよびポリシー関連の問題に焦点を当てることで、保険会社が顧客満足度を向上させるための実行可能なインサイトを提供するため。

提案手法

• ConsumerAffairs.comから、GEICOの1〜2つ星のレビュー1,371件を収集し、ネガティブフィードバックに焦点を当てた。
• n-gram解析（ビグラム）を実施し、繰り返し現れるフレーズや初期的なテーマ的パターンを特定。標準ストップワードリストを用いてストップワードを除去した。
• 教師なしの潜在ディリクレ配布（LDA）トピックモデリングを適用し、ラベル付き学習データが不要な状態で潜在的な意味的トピックを発見した。
• 研究者間の合意形成によるアノテーションとラベル付けを通じて、30の明確なトピックを特定。これらを4つの包括的カテゴリーにグループ化：カスタマーサービス、保険カバレッジ／書類手続き、法的問題、コスト／見積もり／支払い。
• カテゴリーごとのトピック分布を可視化し、苦情の頻度を評価し、サービス改善の優先分野を特定した。
• 結果の再現可能性と透明性を確保するため、GitHubに公開されたパブリックデータセットを用いた。

実験結果

リサーチクエスチョン

• RQ1 GEICOのネガティブオンラインレビューの大規模コーパスにおいて、支配的テーマと潜在的トピックは何か？
• RQ2 教師なしトピックモデリングは、ラベル付き学習データが存在しない非構造化保険苦情データにおいて、効果的に意味的パターンを同定できるか？
• RQ3 カスタマーサービス、カバレッジ、法的問題、財務関連のどのカテゴリーの苦情が、GEICOのネガティブレビューにおいて優勢であるか？
• RQ4 ユーザーは、Progressive、Allstate、State Farmといった競合他社と、どの程度比較しているか？
• RQ5 オンラインレビューの計算的分析は、保険サービスの提供と顧客満足度の向上にどのように寄与できるか？

主な発見

• 1,371件のネガティブGEICOレビューから30の明確な苦情トピックを同定し、顧客の不満の顕著なパターンを明らかにした。
• 同定されたトピックの60％以上が、2つの主要カテゴリーに属していた：カスタマーサービス（C1）および保険カバレッジ、書類手続き、ポリシー、報告書（C2）。これは、これらの分野が主な課題であることを示している。
• 最も頻度の高かった苦情テーマには、無愛想または役立たずな従業員（例：トピックT20「無愛想な従業員」）、請求および返金のための長時間の待機（例：トピックT19「返金のための長時間待機」）、正当な請求を拒否すること（例：トピックT28「請求の支払い拒否」）が含まれる。
• ユーザーは頻繁にGEICOを競合他社と比較しており、レビューの中で最も頻出する代替ブランドはProgressive、Allstate、State Farmであった。
• 財務およびコスト関連の苦情が顕著で、保険金見積もりの問題（例：トピックT11「全損車両の低額見積もり」）、医療費負担（例：トピックT22「医療費負担」）、保険契約解約後の予期しない請求（例：トピックT4「解約後の請求」）が含まれる。
• 法的および書類手続き関連の問題、特に過失報告の不一致（例：トピックT9「過失報告の不一致」）やDMVとの連絡（例：トピックT25「DMVとの連絡」）は、複雑な請求事例において特に顕著であり、重要な課題であった。