[論文レビュー] Mining User Opinions in Mobile App Reviews: A Keyword-based Approach

Phong Minh Vu, Tam The Nguyen+2 more|arXiv (Cornell University)|May 18, 2015

Web Data Mining and Analysis参考文献 19被引用数 49

ひとこと要約

本稿では、モバイルアプリレビューからユーザーの意見を準自動で抽出するキーワードベースのフレームワークMARKを提案する。キーワード抽出、Word2Vecを用いた意味的クラスタリング、トレンド分析を活用し、ネガティブな感情や新たな問題を特定・可視化する。キーワードグループ化では83%の正確性、拡張では89.7%の正確性を達成し、バッテリー関連のクエリにおいてトップのレビュー結果の90%が関連性を示した。

ABSTRACT

User reviews of mobile apps often contain complaints or suggestions which are valuable for app developers to improve user experience and satisfaction. However, due to the large volume and noisy-nature of those reviews, manually analyzing them for useful opinions is inherently challenging. To address this problem, we propose MARK, a keyword-based framework for semi-automated review analysis. MARK allows an analyst describing his interests in one or some mobile apps by a set of keywords. It then finds and lists the reviews most relevant to those keywords for further analysis. It can also draw the trends over time of those keywords and detect their sudden changes, which might indicate the occurrences of serious issues. To help analysts describe their interests more effectively, MARK can automatically extract keywords from raw reviews and rank them by their associations with negative reviews. In addition, based on a vector-based semantic representation of keywords, MARK can divide a large set of keywords into more cohesive subsets, or suggest keywords similar to the selected ones.

研究の動機と目的

• 大量でノイズが多く、意見が混在するモバイルアプリレビューを手作業で分析する課題に対処すること。
• 開発者やアナリストがキーワードベースのクエリを用いて、特定の懸念事項に関連するレビューを効率的に特定できるようにすること。
• 意味的類似性とネガティブ感情との関連に基づいて、キーワードを自動で抽出・順位付け・クラスタリング・拡張すること。
• 時間的経過に伴うキーワード出現頻度の異常なトレンドを検出することで、潜在的なソフトウェア問題を特定すること。
• 手作業による作業を削減するスケーラブルで準自動のソリューションを提供すること。

提案手法

• カスタム化されたキーワード抽出手法が、生のアプリレビューを処理し、意見を含む可能性のある語彙を特定する。
• ネガティブスコアリング方式により、低評価レビューに頻出するキーワードやネガティブ感情と関連するキーワードを頻度に基づいて順位付けする。
• Word2Vecに基づくベクトル表現を用いて、キーワード間の意味的類似度を計算し、クラスタリングや拡張に活用する。
• K-meansクラスタリングにより、キーワードを一貫性のあるテーマ（例：「エネルギー消費」、「回復不能エラー」）にグループ化する。
• ベクトル空間上の近接性を用いて、意味的に類似した語を提案するキーワード拡張により、分析の範囲を拡大する。
• 単純移動平均を用いたトレンド可視化と異常検出により、キーワード出現頻度の急増または急減を特定し、潜在的な問題を示唆する。

実験結果

リサーチクエスチョン

• RQ1 キーワードベースのアプローチは、ノイズが多く非構造的なアプリレビューから、ユーザーの意見を効果的に特定・優先順位付けできるか？
• RQ2 意味的ベクトル表現は、意見関連キーワードのグループ化および拡張をどの程度改善できるか？
• RQ3 自動トレンド分析は、実際のユーザー問題と相関する有意義な異常を検出できるか？
• RQ4 このフレームワークは、特定のキーワードセットに対して関連するレビューをどの程度正確に検索できるか？
• RQ5 このシステムは、ユーザーのフィードバックから新たな問題を発見する開発者をどの程度効果的に支援できるか？

主な発見

• キーワード分類器はテストデータ内の86.5%の非英語レビューを正しくラベル付けし、多言語処理能力の高さを示した。
• カスタムスタマーは汎用のレマタイゼーションツールを上回り、アプリレビューのデータに対してより高い正確性を達成した。
• キーワードクラスタリング手法は、関連するキーワードを一貫性のある意味的テーマにグループ化する際、83%の正確性を達成した。
• キーワード拡張手法は、入力キーワードと意味的に類似した語を特定する際、89.7%の正確性を達成した。
• Facebook Messengerのバッテリー関連クエリにおいて、上位50件のレビューの90%がクエリに関連しており、高い検索精度を確認した。
• 異常検出メカニズムは、ネガティブキーワード出現頻度の急増を検出し、実世界の問題を正常に特定した。