[論文レビュー] Emerging App Issue Identification via Online Joint Sentiment-Topic Tracing

Cuiyun Gao, Jichuan Zeng+5 more|arXiv (Cornell University)|Aug 23, 2020

Software Engineering Research参考文献 76被引用数 9

ひとこと要約

本稿では、適応的オンラインバイタームセンチメントトピック（AOBST）モデルを用いて、ユーザーレビューにおけるトピックとセンチメントを統合的にモデリングすることで、新たなアプリ問題を検出するための新規フレームワークMERITを提案する。単語埋め込みとバージョン対応モデリングを組み込むことで、最先端手法に比べF1スコアを22.3%向上させ、短くセンチメントが豊富なアプリレビューにおいて、ネガティブなユーザーエクスペリエンスの問題を効果的に同定する。

ABSTRACT

Millions of mobile apps are available in app stores, such as Apple's App Store and Google Play. For a mobile app, it would be increasingly challenging to stand out from the enormous competitors and become prevalent among users. Good user experience and well-designed functionalities are the keys to a successful app. To achieve this, popular apps usually schedule their updates frequently. If we can capture the critical app issues faced by users in a timely and accurate manner, developers can make timely updates, and good user experience can be ensured. There exist prior studies on analyzing reviews for detecting emerging app issues. These studies are usually based on topic modeling or clustering techniques. However, the short-length characteristics and sentiment of user reviews have not been considered. In this paper, we propose a novel emerging issue detection approach named MERIT to take into consideration the two aforementioned characteristics. Specifically, we propose an Adaptive Online Biterm Sentiment-Topic (AOBST) model for jointly modeling topics and corresponding sentiments that takes into consideration app versions. Based on the AOBST model, we infer the topics negatively reflected in user reviews for one app version, and automatically interpret the meaning of the topics with most relevant phrases and sentences. Experiments on popular apps from Google Play and Apple's App Store demonstrate the effectiveness of MERIT in identifying emerging app issues, improving the state-of-the-art method by 22.3% in terms of F1-score. In terms of efficiency, MERIT can return results within acceptable time.

研究の動機と目的

• 短くセンチメントが豊富なユーザーレビューから、リアルタイムで新たなアプリ問題を検出する課題に対処すること。
• 従来のトピックモデリング手法がアプリレビューにおけるセンチメントや短テキスト特性を無視するという限界を克服すること。
• アプリの各バージョンにわたるトピックとセンチメントの統合的モデリングにより、問題検出の正確性を向上させること。
• トピックモデリングから導かれる関連語句や文を用いて、自動的かつ解釈可能なラベル付けを可能にすること。
• アプリストアにおける高頻度のフィードバックを想定した、実世界での導入に適した効率性とスケーラビリティを確保すること。

提案手法

• アプリの各バージョンを別々に追跡することができる、トピックとセンチメントを統合的にモデリングする適応的オンラインバイタームセンチメントトピック（AOBST）モデルを提案する。
• 従来のLDAが疎で短い入力に対して制限を受けるのを補うために、バイタームベースのトピックモデリングを用いることで、短テキストレビューの処理を改善する。
• トピックの意味的表現を強化し、検出された問題の解釈可能性を向上させるために、単語埋め込みを統合する。
• 各新しいアプリバージョンに対して、トピック分布とセンチメント分布を段階的に更新するオンライン推論を適用する。
• 単語埋め込みの類似度に基づいて、トピック分布に対して意味的に代表的な語句・文を選択するトピックラベル付けメカニズムを採用する。
• ネガティブなユーザーエクスペリエンスを反映するトピックを優先するセンチメント対応フィルタリングを統合し、誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、短くセンチメントが豊富なユーザーレビューからリアルタイムで新たなアプリ問題を効果的に検出できるか？
• RQ2 トピックとセンチメントの統合的モデリングは、新たな問題検出の正確性をどの程度向上できるか？
• RQ3 単語埋め込みは、アプリレビューにおける検出されたトピックの解釈可能性と関連性を向上させることができるか？
• RQ4 バージョン対応モデリングは、特定のアプリリリースで導入された問題の検出をどのように改善するか？
• RQ5 提案手法は、既存の最先端手法に比べてどの程度の性能向上を達成できるか？

主な発見

• MERITは、Google PlayおよびAppleのApp Storeから得た実世界のアプリレビュー・データセットにおいて、最先端手法IDEAに比べF1スコアを22.3%向上させた。
• トピックとセンチメントの統合的モデリングにより、肯定的または中立的なトピックをフィルタリングすることで、誤検出が顕著に低減され、ネガティブなユーザーエクスペリエンスに焦点を当てるようになった。
• 単語埋め込みの使用により、トピックの解釈可能性が向上し、システムが意味的に意味のある語句や文を自動的に抽出して問題の説明として提供できるようになった。
• AOBSTモデルは、アプリの各バージョンにわたるトピックのシフトを効果的に捉え、特定のリリースで導入された問題を正確に検出できる。
• MERITは妥当な推論効率を達成しており、大規模なアプリレビュー分析におけるリアルタイム導入に適している。
• 実験により、短テキストの特性とセンチメントが、正確な新たな問題検出において極めて重要な要因であることが確認され、従来の手法ではこれを無視していた。