[논문 리뷰] Sovereignty of the Apps: There's more to Relevance than Downloads

Stephan Sigg, Eemil Lagerspetz외 3명|arXiv (Cornell University)|2016. 11. 29.

Spam and Phishing Detection참고 문헌 34인용 수 7

한 줄 요약

이 논문은 339,842명의 사용자로부터 수집한 실제 데이터를 바탕으로, 모바일 앱의 유지율 및 사용 패턴 추세에 대한 최초의 대규모 독립 연구를 제시한다. 연구에서는 앱을 '핫', '패배', '지배적', '편차' 등 아키토타입으로 분류하는 새로운 앱 사용 추세 필터를 도입하여, 40%의 앱이 상당한 인기를 얻지 못하고, 유일하게 0.4%만이 항상 인기 있는 것으로 나타났으며, 추세 데이터를 통합할 경우 다운로드 수나 평점과 같은 조작 가능한 지표 대비 실시간 사용 행동에 초점을 맞춘 앱 추천 정확도가 향상됨을 입증한다.

ABSTRACT

The value of mobile apps is traditionally measured by metrics such as the number of downloads, installations, or user ratings. A problem with these measures is that they reflect actual usage at most indirectly. Indeed, analytic companies have suggested that retention rates, i.e., the number of days users continue to interact with an installed app are low. We conduct the first independent and large-scale study of retention rates and usage behavior trends in the wild. We study their impact on a large-scale database of app-usage data from a community of 339,842 users and more than 213,667 apps. Our analysis shows that, on average, applications lose 70% of their users in the first week, while very popular applications (top 100) lose only 45%. It also reveals, however, that many applications have more complex usage behavior patterns due to seasonality, marketing, or other factors. To capture such effects, we develop a novel app-usage behavior trend measure which provides instantaneous information about the "hotness" of an application. We identify typical trends in app popularity and classify applications into archetypes. From these, we can distinguish, for instance, trendsetters from copycat apps. In our results, roughly 40% of all apps never gain more than a handful of users. Less than 0.4% of the remaining 60% are constantly popular, 1% flop after an initial steep rise, and 7% continuously rise in popularity. We conclude by demonstrating that usage behavior trend information can be used to develop better mobile app recommendations. With the proposed usage-based measures (retention and trend), we are able to shift sovereignty in app recommendations back to where it really matters: actual usage statistics, in contrast to download count and user ratings which are prone to manipulation by people.

연구 동기 및 목표

• 다운로드 수나 평점과 같은 전통적 지표를 넘어서 실제 앱 유지율 및 사용 행동을 탐구하기 위해.
• 특히 계절성 및 외부 요인으로 인해 유지율만으로는 앱 성공 여부를 평가하는 데 한계가 있음을 밝히기 위해.
• 순간적인 인기 추세를 포착하고 앱을 의미 있는 아키토타입으로 분류하는 새로운 앱 사용 추세 필터를 개발하기 위해.
• 추세 기반 지표가 모바일 앱 추천 시스템에 미치는 영향을 평가하여 신선도와 시간적 다양성을 향상시키기 위해.
• 인위적 지표에서 실제 사용자 참여 패턴으로의 추천 권한 이행을 위해.

제안 방법

• 2012~2015년 동안 339,842台의 안드로이드 기기에서 Carat 프로젝트를 통해 대규모 앱 사용 데이터를 수집하였다.
• 유지를 유지율로 정의하며, 설치 후 특정 일수 경과 후에도 앱과 상호작용을 계속하는 사용자 비율로 정의한다.
• 매일의 상대적 인기도를 계산하여 실시간 추세 패tern(예: 핫, 패배, 지배적, 편차)을 탐지하는 새로운 앱 사용 추세 필터를 제안한다.
• 추세 행동에 따라 앱을 네 가지 아키토타입으로 분류한다: 핫(상승), 패배(급격한 감소), 지배적(안정적인 높은 사용), 편차(지속적인 저수준 사용).
• 기존의 히트 및 패배 앱을 사용하여 추세 필터의 정확도를 검증하였으며, 정확한 분류가 가능함을 확인하였다.
• 최신 앱 추천 시스템에 추세 정보를 통합하여, 추천 정확도, 신선도, 시간적 다양성 향상 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 실제 환경에서 모바일 앱의 진정된 유지율은 얼마이며, 인기와의 관계는 어떻게 되는가?
• RQ2 다운로드 수나 평점과 같은 전통적 지표가 실제 사용자 참여를 얼마나 잘못 반영하는가?
• RQ3 계절성 및 마케팅과 같은 외부 요인이 앱 사용 추세에 미치는 영향은 얼마나 되며, 이를 정량적으로 측정할 수 있는가?
• RQ4 실시간 앱 사용 추세 필터가 의미 있는 인기 아키토타입으로 앱을 효과적으로 분류할 수 있는가?
• RQ5 추세 기반 지표가 모바일 앱 추천 시스템에 얼마나 기여할 수 있는가?

주요 결과

• 일반적으로 앱은 설치 후 첫 주 안에 평균 70%의 사용자를 상실하지만, 상위 100개의 가장 인기 있는 앱의 경우 이 비율은 45%로 낮아진다.
• 전체 앱 중 약 40%는 단지 몇 명의 사용자만 확보하여 편차로 분류된다.
• 남은 60%의 앱 중에서 유일하게 일관되게 인기 있는(지배적) 앱은 0.4%이며, 초반에 급격히 상승했다가 감소하는 패배 앱은 1%, 지속적인 성장세를 보이는 앱은 7%이다.
• 첫 주 안에 사용자 80% 이상을 상실하는 앱은 10% 미만으로, 이러한 손실이 널리 퍼져 있다는 일반적 믿음에 도전한다.
• 최신 앱 추천 시스템에서 제공하는 추천 중 실제로 인기 상승 중인 앱을 타겟으로 하는 비율은 3.6%에 불과하여, 시간적 다양성과 신선도가 낮다는 것을 시사한다.
• 추천에 추세 정보를 통합할 경우 정확도 향상이 가능하며, 실시간 사용자 행동과 보다 잘 일치하는 결과를 이끌 수 있다.