[논문 리뷰] Mining User Opinions in Mobile App Reviews: A Keyword-based Approach

Phong Minh Vu, Tam The Nguyen외 2명|arXiv (Cornell University)|2015. 05. 18.

Web Data Mining and Analysis참고 문헌 19인용 수 49

한 줄 요약

이 논문은 모바일 앱 리뷰에서 사용자 의견을 반자동으로 채굴하기 위한 키워드 기반 프레임워크인 MARK를 제안한다. 키워드 추출, Word2Vec 기반 의미 클러스터링, 추세 분석을 통해 부정적 감성과 새로운 문제를 식별하고 시각화하며, 키워드 그룹화에서 83%의 정확도와 확장에서 89.7%의 정확도를 달성했으며, 배터리 관련 쿼리에 대해 상위 리뷰 결과의 90%가 관련성이 있었음을 확인했다.

ABSTRACT

User reviews of mobile apps often contain complaints or suggestions which are valuable for app developers to improve user experience and satisfaction. However, due to the large volume and noisy-nature of those reviews, manually analyzing them for useful opinions is inherently challenging. To address this problem, we propose MARK, a keyword-based framework for semi-automated review analysis. MARK allows an analyst describing his interests in one or some mobile apps by a set of keywords. It then finds and lists the reviews most relevant to those keywords for further analysis. It can also draw the trends over time of those keywords and detect their sudden changes, which might indicate the occurrences of serious issues. To help analysts describe their interests more effectively, MARK can automatically extract keywords from raw reviews and rank them by their associations with negative reviews. In addition, based on a vector-based semantic representation of keywords, MARK can divide a large set of keywords into more cohesive subsets, or suggest keywords similar to the selected ones.

연구 동기 및 목표

• 크고 노이즈가 많은, 의견이 담긴 모바일 앱 리뷰를 수작업으로 분석하는 데서 발생하는 과제를 해결하기 위해.
• 개발자와 분석가가 키워드 기반 쿼리를 통해 특정 우려 사항과 관련된 리뷰를 효율적으로 찾을 수 있도록 하기 위해.
• 의미적 유사성과 부정적 감성 연관성 기반으로 키워드를 자동으로 추출, 순위 매기기, 클러스터링, 확장하기 위해.
• 시간에 따라 키워드 발생 빈도의 비정상적 추세를 탐지하여 소프트웨어 문제의 징후를 포착하기 위해.
• 수작업을 줄이고 사용자 의견 채굴에 있어 확장 가능한 반자동 솔루션을 제공하기 위해.

제안 방법

• 원시 앱 리뷰를 처리하여 의견을 담고 있는 잠재적 용어를 식별하기 위한 맞춤형 키워드 추출 기법을 사용한다.
• 낮은 평점 리뷰에서의 빈도와 부정적 감성과의 연관성 기반으로 부정 점수 체계를 적용해 추출된 키워드를 순위 매긴다.
• Word2Vec 기반의 벡터 표현을 사용해 키워드 간 의미 유사도를 계산하여 클러스터링 및 확장에 활용한다.
• K-means 클러스터링을 통해 키워드를 일관된 주제(예: '에너지 소비', '복구 불가 오류')로 그룹화한다.
• 벡터 공간 내 거리 기반 유사성으로 유사한 단어를 제안함으로써 분석 범위를 넓힌다.
• 간단 이동 평균 기반의 추세 시각화 및 이상 탐지 기법을 통해 키워드 빈도의 급격한 상승 또는 하락을 탐지하여 잠재적 문제의 징후를 식별한다.

실험 결과

연구 질문

• RQ1 키워드 기반 접근 방식은 노이즈가 많고 비정형적인 앱 리뷰에서 사용자 의견을 효과적으로 식별하고 우선순위를 매길 수 있는가?
• RQ2 의미 벡터 표현은 의견 관련 키워드의 그룹화 및 확장에 얼마나 기여하는가?
• RQ3 자동화된 추세 분석은 실제 사용자 문제와 관련된 의미 있는 이상 현상을 탐지할 수 있는가?
• RQ4 프레임워크는 주어진 키워드 세트에 대해 관련 리뷰를 얼마나 정확하게 검색하는가?
• RQ5 시스템은 사용자 피드백으로부터 발생하는 문제를 개발자가 발견하는 데 얼마나 효과적으로 지원하는가?

주요 결과

• 키워드 분류기는 테스트 세트의 86.5% 비영어 리뷰를 정확하게 레이블링하여 다국어 처리 능력이 뛰어나다는 것을 입증했다.
• 맞춤형 어간 추출기(스테머)가 일반적인 어형 통합 도구보다 성능이 뛰어나 앱 리뷰 데이터에서 더 높은 정확도를 달성했다.
• 키워드 클러스터링 기법은 관련 키워드를 일관된 의미 주제로 그룹화하는 데 83%의 정확도를 기록했다.
• 키워드 확장 기법은 입력 키워드와 의미적으로 유사한 단어를 식별하는 데 89.7%의 정확도를 달성했다.
• 페이스북 메신저의 배터리 관련 쿼리에서 상위 50개 리뷰의 90%가 쿼리와 관련성이 있었으며, 이는 높은 검색 정밀도를 확인했다.
• 이상 탐지 메커니즘이 실제로 페이스북 메신저에서 발생한 문제를 탐지하여 부정적 키워드 발생 빈도의 급격한 상승을 식별했다.