[論文レビュー] Application of Natural Language Processing to Determine User Satisfaction in Public Services

Radosław Kowalski, Marc Estève+1 more|arXiv (Cornell University)|Nov 21, 2017

Customer Service Quality and Loyalty参考文献 127被引用数 6

ひとこと要約

本稿では、145,000件の英語圏の一次医療機関のオープンエンドレビューを分析するために、トピックモデリングを用いたスケーラブルな自然言語処理（NLP）手法を提案する。ユーザー満足度の主な要因として、スタッフとの対応の質と官僚的非効率性が特定され、包摂的で根拠に基づいた公共サービス改善のためのデータドリブンな知見を提供する。

ABSTRACT

Research on customer satisfaction has increased substantially in recent years. However, the relative importance and relationships between different determinants of satisfaction remains uncertain. Moreover, quantitative studies to date tend to test for significance of pre-determined factors thought to have an influence with no scalable means to identify other causes of user satisfaction. The gaps in knowledge make it difficult to use available knowledge on user preference for public service improvement. Meanwhile, digital technology development has enabled new methods to collect user feedback, for example through online forums where users can comment freely on their experience. New tools are needed to analyze large volumes of such feedback. Use of topic models is proposed as a feasible solution to aggregate open-ended user opinions that can be easily deployed in the public sector. Generated insights can contribute to a more inclusive decision-making process in public service provision. This novel methodological approach is applied to a case of service reviews of publicly-funded primary care practices in England. Findings from the analysis of 145,000 reviews covering almost 7,700 primary care centers indicate that the quality of interactions with staff and bureaucratic exigencies are the key issues driving user satisfaction across England.

研究の動機と目的

• 事前に定義された要因にとどまらない、スケーラブルでデータドリブンな方法による公共サービスにおけるユーザー満足度要因の同定のギャップを埋める。
• 自由記述フィードバックから新たなテーマを捉えることができない従来の定量的アンケート調査の限界を克服する。
• 公共部門の組織が大規模な非構造化ユーザーレビューから実行可能な知見を抽出できるようにする。
• オープンエンドフィードバックを用いた現実世界の公共サービス評価に向けた実装可能なNLPフレームワークを開発する。
• 自動化されたセンチメント分析およびトピック分析を通じて、より包摂的で証拠に基づいた公共サービス提供意思決定に貢献する。

提案手法

• イギリスの一次医療機関の145,000件の非構造化患者レビューから潜在的テーマを抽出するために、確率的トピックモデリング（特にLDA）を適用する。
• トークン化、ストップワード除去、語形素還元などの標準的なNLP技術を用いてテキストデータを前処理する。
• 得られたトピック分布を用いて、特定のテーマとユーザー満足度水準との関係を評価する。
• スタッフ対応、待機時間、管理プロセスなどのテーマ的カテゴリーにトピックをマッピングする。
• トピックの出現頻度と満足度スコアを相関させ、最も影響力のある要因を同定する。
• 高頻度トピックの定性的な検証とそのセンチメント関連性を通じて、研究結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 イギリスの公的資金で運営される一次医療サービスのユーザーレビューに、どのような支配的テーマが見られるか？
• RQ2 大規模なレビューのサンプルにおいて、どのテーマ的要因がユーザー満足度と最も強く関連しているか？
• RQ3 トピックモデリングは、事前に定義されたアンケート変数を超えた、予期しない満足度要因を効果的に特定できるか？
• RQ4 スタッフ対応の質と官僚的プロセスの相対的影響は、ユーザー満足度にどのように影響しているか？
• RQ5 NLP技術は、公共サービス改善に向けたスケーラブルで実行可能な知見をどの程度提供できるか？

主な発見

• 医療スタッフとの対応の質が、データセット全体においてユーザー満足度に最も顕著な要因として浮き彫りになった。
• 長時間の待機時間や複雑な行政手続きといった、官僚的非効率性が、不満の主な要因として特定された。
• トピックモデリングにより、145,000件のレビューから15の明確なテーマが抽出され、スタッフ行動と行政遅延の影響度が最も高かった。
• 従来のアンケートで主な焦点とならなかった、予約スケジューリングや説明の明確さといった、以前に軽視されていたテーマが同定された。
• スタッフ関連トピックにおけるポジティブセンチメントの頻度と全体のユーザー満足度スコアとの間に強い相関が確認された。
• 本手法はスケーラビリティと再現性を示し、事前に要因を仮定しない大規模かつ現実世界の公共サービスフィードバック分析を可能にした。