[논문 리뷰] Emerging App Issue Identification via Online Joint Sentiment-Topic Tracing

Cuiyun Gao, Jichuan Zeng외 5명|arXiv (Cornell University)|2020. 08. 23.

Software Engineering Research참고 문헌 76인용 수 9

한 줄 요약

이 논문은 사용자 리뷰에서 주제와 감성을 동시에 모델링하는 데에 적응형 온라인 비텀 감성-주제(AOBST) 모델을 사용하는 새로운 프레임워크인 MERIT를 제안한다. 단어 임bedding과 버전 인식 모델링을 통합함으로써, 최신 기술 대비 F1 점수를 22.3% 향상시켜 짧고 감성적인 앱 리뷰에서 부정적인 사용자 경험 문제를 효과적으로 식별한다.

ABSTRACT

Millions of mobile apps are available in app stores, such as Apple's App Store and Google Play. For a mobile app, it would be increasingly challenging to stand out from the enormous competitors and become prevalent among users. Good user experience and well-designed functionalities are the keys to a successful app. To achieve this, popular apps usually schedule their updates frequently. If we can capture the critical app issues faced by users in a timely and accurate manner, developers can make timely updates, and good user experience can be ensured. There exist prior studies on analyzing reviews for detecting emerging app issues. These studies are usually based on topic modeling or clustering techniques. However, the short-length characteristics and sentiment of user reviews have not been considered. In this paper, we propose a novel emerging issue detection approach named MERIT to take into consideration the two aforementioned characteristics. Specifically, we propose an Adaptive Online Biterm Sentiment-Topic (AOBST) model for jointly modeling topics and corresponding sentiments that takes into consideration app versions. Based on the AOBST model, we infer the topics negatively reflected in user reviews for one app version, and automatically interpret the meaning of the topics with most relevant phrases and sentences. Experiments on popular apps from Google Play and Apple's App Store demonstrate the effectiveness of MERIT in identifying emerging app issues, improving the state-of-the-art method by 22.3% in terms of F1-score. In terms of efficiency, MERIT can return results within acceptable time.

연구 동기 및 목표

• 짧고 감성적인 사용자 리뷰에서 실시간으로 새로운 앱 이슈를 탐지하는 데 도전하는 것.
• 기존 주제 모델링 기법들이 앱 리뷰의 감성과 짧은 텍스트 특성에 주목하지 못하는 한계를 극복하는 것.
• 앱 버전 간 주제와 감성을 동시에 모델링하여 이슈 탐지 정확도를 향상시키는 것.
• 주제 모델링에서 유도된 관련 어휘 및 문장을 기반으로 자동으로 해석 가능한 레이블링을 가능하게 하는 것.
• 앱 스토어에서 높은 볼륨의 피드백을 처리하는 데 적합한 효율성과 확장성을 확보하는 것.

제안 방법

• 앱 버전별로 추적 가능한 적응형 온라인 비텀 감성-주제(AOBST) 모델을 제안하여 사용자 리뷰의 주제와 감성을 동시에 모델링한다.
• 기존 LDA가 희소하고 짧은 입력에서 약한 성능을 보이는 데 대비, 비텀 기반 주제 모델링을 활용해 짧은 텍스트 리뷰를 더 잘 처리한다.
• 주제의 의미적 표현을 향상시키고 탐지된 이슈의 해석 가능성을 높이기 위해 단어 임베딩을 통합한다.
• 각 신규 앱 버전이 도입될 때마다 주제 및 감성 분포를 점진적으로 갱신하기 위해 온라인 추론을 적용한다.
• 단어 임베딩 유사도를 기반으로 주제 분포에 대해 의미적으로 대표적인 어휘나 문장을 선택하는 주제 레이블링 메커니즘을 구현한다.
• 부정적인 사용자 경험을 반영하는 주제를 우선순위로 정렬하기 위해 감성 인식 필터링을 통합한다. 이는 가짜 양성 결과를 줄인다.

실험 결과

연구 질문

• RQ1 짧고 감성적인 사용자 리뷰에서 실시간으로 새로운 앱 이슈를 효과적으로 탐지할 수 있는가?
• RQ2 주제와 감성을 동시에 모델링하면 새로운 이슈 탐지 정확도가 얼마나 향상되는가?
• RQ3 단어 임베딩은 앱 리뷰에서 탐지된 주제의 해석 가능성과 관련성에 기여하는가?
• RQ4 버전 인식 모델링은 특정 앱 릴리스에서 유도된 이슈 탐지에 어떻게 기여하는가?
• RQ5 제안된 방법은 기존 최신 기술 대비 얼마나 높은 성능 향상을 보이는가?

주요 결과

• 실제 Google Play 및 Apple App Store 앱 리뷰 데이터셋에서 MERIT는 최신 기술인 IDEA 대비 F1 점수를 22.3% 향상시켰다.
• 주제와 감성을 동시에 모델링함으로써 긍정적 또는 중립적인 주제를 걸러내어 가짜 양성 결과를 크게 줄였다. 이는 부정적인 사용자 경험에 집중하는 데 기여했다.
• 단어 임베딩의 사용은 주제의 해석 가능성을 향상시켜, 시스템이 자동으로 의미적으로 유의미한 어휘나 문장을 이슈 기술로 추출할 수 있도록 했다.
• AOBST 모델은 앱 버전 간 주제 이동을 효과적으로 포착하여 특정 릴리스에서 유도된 이슈를 정밀하게 탐지할 수 있었다.
• MERIT는 수용 가능한 추론 효율성을 확보하여 대규모 앱 리뷰 분석에서 실시간 구현에 적합하다.
• 실험 결과, 짧은 텍스트 특성과 감성이 정확한 새로운 이슈 탐지에 핵심 요소임을 확인하였으며, 이는 이전 방법들이 간과한 요소였다.