[論文レビュー] Applying Naive Bayes Classification to Google Play Apps Categorization

Olabenjo Babatunde|arXiv (Cornell University)|Aug 30, 2016

Web Data Mining and Analysis参考文献 17被引用数 14

ひとこと要約

本論文では、Google Playストアのアプリを適切なカテゴリに自動分類するために、TF-IDF特徴抽出を用いた多項式ナイーブベイズを提案する。グループ化されたゲームアプリにおいてF1スコア0.85を達成し、語の頻度に敏感である点でベルヌーイ・ナイーブベイズを上回る。この手法は、上位開発者アプリのメタデータを活用して、アプリの発見可能性とパブリッシャー収益の向上を図る。

ABSTRACT

There are over one million apps on Google Play Store and over half a million publishers. Having such a huge number of apps and developers can pose a challenge to app users and new publishers on the store. Discovering apps can be challenging if apps are not correctly published in the right category, and, in turn, reduce earnings for app developers. Additionally, with over 41 categories on Google Play Store, deciding on the right category to publish an app can be challenging for developers due to the number of categories they have to choose from. Machine Learning has been very useful, especially in classification problems such sentiment analysis, document classification and spam detection. These strategies can also be applied to app categorization on Google Play Store to suggest appropriate categories for app publishers using details from their application. In this project, we built two variations of the Naive Bayes classifier using open metadata from top developer apps on Google Play Store in other to classify new apps on the store. These classifiers are then evaluated using various evaluation methods and their results compared against each other. The results show that the Naive Bayes algorithm performs well for our classification problem and can potentially automate app categorization for Android app publishers on Google Play Store

研究の動機と目的

• Google Playストアにおける誤ったアプリ分類の課題に取り組み、アプリの発見可能性と開発者収益の低下を防ぐ。
• 成功した開発者のメタデータを活用して、新規アプリの最適なカテゴリを提案する機械学習ベースのソリューションを開発する。
• TF-IDF特徴を用いたアプリ分類において、多項式およびベルヌーイ・ナイーブベイズ分類器の性能を評価・比較する。
• Google Playストアにおけるユーザーの発見可能性とパブリッシャー収益の向上を目的に、アプリ分類の正確性を向上させる。

提案手法

• 本研究では、Google Playストアの上位評価アプリのオープンメタデータをトレーニングデータとして、教師あり学習を実施する。
• 語の頻度－逆文書頻度（TF-IDF）を用いて、アプリの説明文およびタイトルから関連するテキスト特徴を抽出・重み付けする。
• 同じデータセット上で、多項式およびベルヌーイの2種類のナイーブベイズ分類器をトレーニングおよび評価し、比較分析を行う。
• モデルの性能は、k分割交差検証、シャッフル・スプリット交差検証、および適合率、再現率、F1スコア、混同行列といった評価指標を用いて評価する。
• 学習曲線を分析して、トレーニングデータの増加に伴うモデルの汎化性能と過学習の有無を評価する。
• 今後の改善策として、n-gram特徴（例：2-gramとして「アラームクロック」や「怒った鳥」）の導入を提案する。

実験結果

リサーチクエスチョン

• RQ1 多項式ナイーブベイズ分類器は、ベルヌーイ版と比較して、Google Playストアのアプリ分類においてどの程度効果的か？
• RQ2 アプリ分類タスクにおいて、語の頻度は性能にどのような影響を与えるか？
• RQ3 なぜゲームアプリは他のカテゴリと比較して、より高い誤分類率を示すのか？
• RQ4 TF-IDF強化特徴は、ナイーブベイズを用いたアプリ分類の正確性を向上させることができるか？
• RQ5 上位開発者から得られるデータセットの品質およびラベルの一貫性は、分類器の性能にどのような影響を与えるか？

主な発見

• 多項式ナイーブベイズ分類器はベルヌーイ版を上回り、グループ化されたゲームアプリではF1スコア0.85、全カテゴリでは0.727を達成した。
• ベルヌーイ・ナイーブベイズモデルは、ゲームアプリのみでF1スコア0.67にとどまり、語の頻度が重要な場合にその有効性が限定的であることが示された。
• 交通、医療、天気などの非ゲームカテゴリでは、特徴的な希少語彙が多用されており、適合率が100％に達した。
• ゲームカテゴリの誤分類は、『アーケード』や『アクション』ゲームなど、サブカテゴリ間で語の重複が生じるため、頻発した。
• 学習曲線から、トレーニングデータ量の増加に伴い過学習が減少し、汎化性能が向上することが示された。
• 限られたトレーニングデータでも高速かつ効果的である点を踏まえ、ナイーブベイズはアプリ分類の強力なベースラインであると結論づけた。