[論文レビュー] Sovereignty of the Apps: There's more to Relevance than Downloads

Stephan Sigg, Eemil Lagerspetz+3 more|arXiv (Cornell University)|Nov 29, 2016

Spam and Phishing Detection参考文献 34被引用数 7

ひとこと要約

本論文は、339,842人のユーザーからの実世界データを用いて、モバイルアプリのリテンションおよび使用傾向に関する、初めての大規模で独立した研究を提示する。本研究では、アプリを『ホット』、『フロップ』、『ドミナント』、『マージナル』といったタイプに分類する新規のアプリ使用傾向フィルタを導入し、40%のアプリが著しい人気を獲得しない一方で、定常的に人気を維持するのはたった0.4%にとどまり、トレンドデータを組み込むことで、ダウンロード数や評価といった操作可能な指標ではなく、リアルタイムの使用行動に焦点を当てたアプリ推薦の正確性が向上することを示している。

ABSTRACT

The value of mobile apps is traditionally measured by metrics such as the number of downloads, installations, or user ratings. A problem with these measures is that they reflect actual usage at most indirectly. Indeed, analytic companies have suggested that retention rates, i.e., the number of days users continue to interact with an installed app are low. We conduct the first independent and large-scale study of retention rates and usage behavior trends in the wild. We study their impact on a large-scale database of app-usage data from a community of 339,842 users and more than 213,667 apps. Our analysis shows that, on average, applications lose 70% of their users in the first week, while very popular applications (top 100) lose only 45%. It also reveals, however, that many applications have more complex usage behavior patterns due to seasonality, marketing, or other factors. To capture such effects, we develop a novel app-usage behavior trend measure which provides instantaneous information about the "hotness" of an application. We identify typical trends in app popularity and classify applications into archetypes. From these, we can distinguish, for instance, trendsetters from copycat apps. In our results, roughly 40% of all apps never gain more than a handful of users. Less than 0.4% of the remaining 60% are constantly popular, 1% flop after an initial steep rise, and 7% continuously rise in popularity. We conclude by demonstrating that usage behavior trend information can be used to develop better mobile app recommendations. With the proposed usage-based measures (retention and trend), we are able to shift sovereignty in app recommendations back to where it really matters: actual usage statistics, in contrast to download count and user ratings which are prone to manipulation by people.

研究の動機と目的

• ダウンロード数や評価といった伝統的な指標を超えて、実世界におけるモバイルアプリのリテンションおよび使用行動を調査すること。
• 特に季節要因や外部要因の影響を受けるため、リテンション率に依存するだけではアプリ成功の測定に限界があることの特定。
• 即時の人気トレンドを捉え、アプリを意味のあるタイプに分類する新規のアプリ使用傾向フィルタの開発。
• トレンドベースの指標がモバイルアプリ推薦システムに与える影響を評価し、新規性と時間的多様性の向上を図ること。
• 人工的な指標から、実際のユーザー参加行動パターンへのアプリ推薦の主権移行。

提案手法

• 2012年から2015年の3年間にわたり、339,842台のAndroid端末からCaratプロジェクトを通じて大規模なアプリ使用データを収集した。
• リテンション率を、インストール後一定日数経過後にアプリとやり取りを続けるユーザーの割合として定義した。
• 毎日の相対的利用頻度を計算することで、ホット、フロップ、ドミナント、マージナルといったリアルタイムのトレンドパターンを検出する新規のアプリ使用傾向フィルタを提案した。
• トレンド行動に基づき、4つのタイプにアプリを分類した：ホット（上昇中）、フロップ（急激な減少）、ドミナント（安定した高い利用）、マージナル（常に低い利用）。
• 既知のヒットおよびフロップアプリを用いてトレンドフィルタの妥当性を検証し、正確な分類が可能であることを確認した。
• 最先端のアプリ推薦システムにトレンド情報を取り入れた影響を評価し、推薦の正確性、新規性、時間的多様性の向上を測定した。

実験結果

リサーチクエスチョン

• RQ1 実際のアプリのリテンション率はどの程度で、アプリの人気度に応じてどのように変化するか？
• RQ2 ダウンロード数や評価といった伝統的指標が、実際にユーザーが関与している状況をどの程度反映していないか？
• RQ3 季節要因やマーケティングなどの外部要因がアプリ使用傾向に与える影響はどの程度で、定量的に捉えることができるか？
• RQ4 リアルタイムのアプリ使用傾向フィルタは、意味のある人気タイプにアプリを効果的に分類できるか？
• RQ5 トレンドベースの指標は、モバイルアプリ推薦システムをどの程度改善できるか？

主な発見

• 平均して、アプリはインストール後1週間で70%のユーザーを失うが、上位100位以内の最も人気のあるアプリではこの数値が45%に低下する。
• すべてのアプリのうち40%は、わずか数名のユーザーしか獲得せず、マージナルと分類される。
• 残りの60%のアプリの中で、定常的に人気を維持するのはたった0.4%（ドミナント）、初期の急上昇後にフロップするアプリが1%、持続的な成長を示すアプリが7%（ホット）である。
• 1週間で80%以上のユーザーを失うアプリは10%未満であり、このような損失が広く見られるという一般的な認識に反する。
• 最先端のアプリ推薦システムからの推薦のうち、現在人気上昇中であるアプリをターゲットにしているのはたった3.6%にとどまり、時間的多様性と新規性に欠けていることが示された。
• 推薦にトレンド情報を組み込むことで、正確性が向上し、リアルタイムのユーザー行動とよりよく一致するようになる。