[논문 리뷰] Application of Natural Language Processing to Determine User Satisfaction in Public Services

Radosław Kowalski, Marc Estève외 1명|arXiv (Cornell University)|2017. 11. 21.

Customer Service Quality and Loyalty참고 문헌 127인용 수 6

한 줄 요약

이 논문은 영국의 영문 주요 의료 기관 145,000건의 개방형 사용자 리뷰를 분석하기 위해 토픽 모델링을 활용한 확장 가능한 자연어 처리(NLP) 접근법을 제안한다. 사용자 만족도의 주요 요인으로는 직원 상호작용 품질과 행정적 비효율성이 밝혀졌으며, 포괄적인 공공 서비스 향상을 위한 데이터 기반 통찰을 제공한다.

ABSTRACT

Research on customer satisfaction has increased substantially in recent years. However, the relative importance and relationships between different determinants of satisfaction remains uncertain. Moreover, quantitative studies to date tend to test for significance of pre-determined factors thought to have an influence with no scalable means to identify other causes of user satisfaction. The gaps in knowledge make it difficult to use available knowledge on user preference for public service improvement. Meanwhile, digital technology development has enabled new methods to collect user feedback, for example through online forums where users can comment freely on their experience. New tools are needed to analyze large volumes of such feedback. Use of topic models is proposed as a feasible solution to aggregate open-ended user opinions that can be easily deployed in the public sector. Generated insights can contribute to a more inclusive decision-making process in public service provision. This novel methodological approach is applied to a case of service reviews of publicly-funded primary care practices in England. Findings from the analysis of 145,000 reviews covering almost 7,700 primary care centers indicate that the quality of interactions with staff and bureaucratic exigencies are the key issues driving user satisfaction across England.

연구 동기 및 목표

• 사전 정의된 요인을 초월해 공공 서비스의 사용자 만족도 결정 요인을 규명하는 확장 가능한 데이터 기반 방법의 격차를 보완한다.
• 자유 텍스트 피드백에서 새로운 주제를 포착할 수 없는 전통적인 정량적 설문조사의 한계를 극복한다.
• 대규모 비정형 사용자 리뷰에서 실질적인 통찰을 추출할 수 있도록 공공 부문 기관의 역량을 강화한다.
• 개방형 피드백을 활용한 실제 공공 서비스 평가를 위한 구현 가능한 NLP 프레임워크를 개발한다.
• 자동화된 감성 및 토픽 분석을 통해 공공 서비스 제공의 더 포용적이고 증거 기반의 의사결정을 지원한다.

제안 방법

• 영국의 주요 의료 기관에 대한 145,000건의 비정형 환자 리뷰에서 잠재 주제를 추출하기 위해 확률적 토픽 모델링(특히 LDA)을 적용한다.
• 토큰화, 정지어 제거, 표준화 등의 표준 NLP 기법을 사용해 텍스트 데이터를 전처리한다.
• 결과로 도출된 토픽 분포를 활용해 특정 주제와 사용자 만족도 수준 간의 관계를 평가한다.
• 직원 상호작용, 대기 시간, 행정 절차 등의 주제 카테고리로 토픽을 매핑한다.
• 주제 빈도와 만족도 점수를 상관 분석해 영향력이 가장 큰 요인을 특정한다.
• 빈도가 높은 주제와 그 감성 연관성을 정성적으로 점검함으로써 결과의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 영국의 공공 자금으로 운영되는 주요 의료 서비스에 대한 사용자 리뷰에서 지배적인 주제는 무엇인가?
• RQ2 대규모 리뷰 샘플에서 사용자 만족도와 가장 강하게 연관된 주제적 요인은 무엇인가?
• RQ3 토피크 모델링이 사전 정의된 설문 변수를 초월해 예상치 못한 만족도 결정 요인을 효과적으로 드러낼 수 있는가?
• RQ4 사용자 만족도에 영향을 주는 직원 상호작용 품질과 행정 절차의 상대적 영향은 어떻게 비교될 수 있는가?
• RQ5 NLP 기법이 공공 서비스 향상에 있어 확장 가능하고 실천 가능한 통찰을 제공할 수 있는 정도는 어느 정도인가?

주요 결과

• 의료 종사자와의 상호작용 품질이 데이터셋 전반에서 사용자 만족도에 가장 큰 영향을 미치는 요인으로 드러났다.
• 긴 대기 시간과 복잡한 행정 절차와 같은 행정적 비효율성은 만족도 저하의 주요 원인으로 규명되었다.
• 토피크 모델링을 통해 145,000건의 리뷰에서 15개의 구분된 주제를 성공적으로 추출했으며, 직원 행동과 행정 지연이 영향력이 가장 높은 주제로 나타났다.
• 이전 설문조사에서 주요 초점이 되지 않았던, 예약 관리 및 소통의 명확성과 같은 이전에 간과되었던 주제들이 드러났다.
• 직원 관련 주제에서 긍정적 감성의 빈도와 전체 사용자 만족도 점수 사이에 강한 상관관계가 발견되었다.
• 이 방법은 확장성과 재현 가능성을 입증했으며, 사전 정의된 요인에 대한 가정 없이 대규모 실생활 공공 서비스 피드백을 분석할 수 있었다.