[논문 리뷰] RoseMatcher: Identifying the Impact of User Reviews on App Updates

Tianyang Liu, Chong Wang외 5명|arXiv (Cornell University)|2022. 10. 19.

Software Engineering Techniques and Practices인용 수 5

한 줄 요약

RoseMatcher는 의미적 및 키워드 기반 매칭을 사용하여 자연어 처리(NLP) 기반으로 사용자 리뷰를 앱 릴리스 노트에 자동으로 매칭하는 새로운 접근법이다. 이는 관련 리뷰-릴리스 노트 쌍을 식별하는 데 71.8%의 히트 비율을 기록하였다. 본 연구는 앱 업데이트에서 사용자 리뷰가 수행하는 여덟 가지 유형의 역할을 규명하였으며, 대부분의 관련 피드백은 릴리스 노트가 발표된 지 1년 이내에 발생한다.

ABSTRACT

$ extbf{Context}$: The release planning of mobile apps has become an area of active research, with most studies centering on app analysis through release notes in the Apple App Store and tracking user reviews via issue trackers. However, the correlation between these release notes and user reviews in App Store remains understudied. $ extbf{Objective}$: In this paper, we introduce $ extit{RoseMatcher}$, a novel automatic approach to match relevant user reviews with app release notes and identify matched pairs with high confidence. $ extbf{Methods}$: We collected 944 release notes and 1,046,862 user reviews from 5 mobile apps in the Apple App Store as research data to evaluate the effectiveness and accuracy of $ extit{RoseMatcher}$, and conducted deep content analysis on matched pairs. $ extbf{Results}$: Our evaluation shows that $ extit{RoseMatcher}$ can reach a hit ratio of 0.718 for identifying relevant matched pairs, and with the manual labeling and content analysis of 984 relevant pairs, we identify 8 roles that user reviews play in app updates according to the relationship between release notes and user reviews in the relevant matched pairs. $ extbf{Conclusions}$: Our findings indicate that both app development teams and users pay close attention to release notes and user reviews, with release notes typically addressing feature requests, bug reports, and complaints, and user reviews offering positive, negative, and constructive feedback. Overall, the study highlights the importance of the communication between app development teams and users in the release planning of mobile apps, with relevant reviews tending to be posed within a short period before and after the release of release notes, with the average time interval between the post time of release notes and user reviews being approximately one year.

연구 동기 및 목표

• 애플 앱 스토어에서 사용자 리뷰와 앱 릴리스 노트 간의 상관관계를 이해하는 데 미치는 격차를 해소하기 위해.
• 비공식적인 사용자 리뷰와 공식적인 릴리스 노트 간에 고신뢰도 매칭을 자동으로 식별하여 수작업 레이블링 작업을 줄이기 위해.
• 콘텐츠 및 시간 패턴을 기반으로 사용자 리뷰가 앱 업데이트를 이끌거나 반응하는 데 어떤 역할을 하는지 분석하기 위해.
• 릴리스 노트와 리뷰를 통해 앱 개발 팀과 사용자 간의 상호 반응성(상호응답성)을 탐색하기 위해.
• 특히 업데이트 시점과의 피드백 시점 간의 시간적 동적 관계를 평가하기 위해.

제안 방법

• RoseMatcher는 의미적 유사성과 키워드 기반 매칭을 조합하여 각 릴리스 노트에 적합한 사용자 리뷰를 식별한다.
• 문장 변환기 등 임bedding 기반 의미 매칭을 사용하여 언어적 차이가 있더라도 의미적으로 유사한 텍스트 쌍을 탐지한다.
• 의미적 유사성과 정확한 키워드 겹침을 모두 고려한 하이브리드 스코어링 메커니즘을 적용하여 정밀도를 향상시킨다.
• Apple App Store의 iOS 앱 5종에서 확보한 944개의 릴리스 노트와 100만 건 이상의 사용자 리뷰를 대상으로 평가한다.
• 984개의 매칭 쌍에 대한 수작업 레이블링을 통해 콘텐츠 역할과 시간 패턴에 대한 정성적·정량적 분석을 수행한다.
• 시간 분석은 리뷰의 게시 시점과 릴리스 노트의 출시 시점을 비교하여 피드백 시점 패턴을 규명한다.

실험 결과

연구 질문

• RQ1 모바일 앱 생태계에서 사용자 리뷰와 공식 릴리스 노트 간의 관련성 정도는 어느 정도인가?
• RQ2 릴리스 노트에 반영된 바탕으로 볼 때 사용자 리뷰는 앱 업데이트에 영향을 주거나 반응하는 데 어떤 역할을 하는가?
• RQ3 사용자 리뷰의 시간 패턴은 신규 앱 버전 출시와 어떻게 관련되어 있는가?
• RQ4 자동 매칭 기술이 높은 정밀도를 유지하면서 수작업 레이블링 작업을 얼마나 줄일 수 있는가?
• RQ5 사용자 피드백의 콘텐츠 및 시간적 동적 특성은 공식 릴리스 노트와 어떻게 상관관계가 있는가?

주요 결과

• RoseMatcher는 관련 리뷰-릴리스 노트 쌍을 식별하는 데 0.718의 히트 비율을 기록하여 자동 매칭의 높은 효과성을 입증하였다.
• 릴리스 노트와 관련된 사용자 리뷰 간 평균 시간 간격은 약 1년이며, 대부분의 피드백은 릴리스 직전 또는 직후에 발생한다.
• 사용자 리뷰가 앱 업데이트에서 수행하는 여덟 가지 유형의 역할이 규명되었다: 기능 요청, 버그 보고, 불만, 찬사, 비판, 질문, 새로운 아이디어, 후속 보고.
• 사용자 리뷰는 종종 신규 릴리스의 촉매 역할을 하며, 개발 팀은 기능 요청과 버그 보고를 바탕으로 릴리스 노트에 수정 사항이나 기능 향상을 포함시는 경향이 있다.
• 사용자 또한 릴리스 노트에 대한 피드백으로 찬사, 비판, 새로운 기능 제안을 제공함으로써 이중 방향의 소통 루프를 형성하고 있다.
• 매칭된 쌍의 상당수는 장기간의 간격(최대 3년)을 보이며, 이는 사용자 참여가 지연되거나 보고된 문제의 해결이 늦어진다는 것을 시사한다.