[論文レビュー] They'll Know It When They See It: Analyzing Post-Release Feedback from the Android Community

Sherlock A. Licorish, Chan Won Lee+3 more|arXiv (Cornell University)|Jan 1, 2015

Privacy, Security, and Data Protection参考文献 25被引用数 1

ひとこと要約

本研究では、Androidコミュニティのリリース後フィードバックを自然言語処理（NLP）を用いて分析し、頻繁に要求される機能改善やユーザーのフィードバックのパターンを同定した。その結果、連絡先、画面、通知、通話の機能が最も多く強調された改善要望であり、Jellybeanは最も批判の強いリリースであった。また、ユーザーはしばしば複数の問題を同時に報告しており、開発者の優先順位付けを複雑にする要因となった。

ABSTRACT

It is known that user involvement and user-centered design enhance system acceptance, particularly when end-users' views are considered early in the process. However, the increasingly common method of system deployment, through frequent releases via an online application distribution platform, relies more on post-release feedback from a virtual community. Such feedback may be received from large and diverse communities of users, posing challenges to developers in terms of extracting and identifying the most pressing requests to address. In seeking to tackle these challenges we have used natural language processing techniques to study enhancement requests logged by the Android community. We observe that features associated with a specific subset of topics were most frequently requested for improvement, and that end-users expressed particular discontent with the Jellybean release. End-users also tended to request improvements to specific issues together, potentially posing a prioritization challenge to Google.

研究の動機と目的

• Androidのバーチャルコミュニティにおけるリリース後フィードバックの性質とパターンを理解すること。
• どのAndroid機能が最も頻繁に改善要請されているかを特定すること。
• 特定のAndroidリリースが他のリリースと比較して、より多くの改善要請を引き起こすかどうかを検証すること。
• ユーザーがフィードバックにおいて複数の機能要請をまとめて報告する傾向があるかどうかを調査すること。
• NLPおよびネットワーク解析が、大規模かつ非構造的なユーザーのフィードバックから実行可能なインサイトを抽出するのに有効であるかを評価すること。

提案手法

• 公に利用可能なAndroidの問題トラッカーから1,000件以上の改善要請を収集・分析した。
• 自然言語処理（NLP）技術を用いて、機能関連の要請を抽出・分類した。
• ポイントワイズ相互情報量（PMI）を用いて、共起する機能要請を特定し、集約されたフィードバックのパターンを検出した。
• 複雑ネットワーク理論を用いて、機能改善要請間の関係性をモデル化した。
• ケンダールのtau（τ）相関係数を計算し、機能の共起パターンの統計的有意性を評価した。
• 主要なAndroid OSリリースの日付に基づいて問題をグループ化し、リリースサイクル全体での要請件数とトレンドを分析した。

実験結果

リサーチクエスチョン

• RQ1 リリース後フィードバックにおいて、どのAndroid機能が最も頻繁に改善要請されているか？
• RQ2 特定のAndroidリリースが他のリリースと比較して、より多くの改善要請を生じるか？
• RQ3 ユーザーがフィードバックにおいて複数の機能要請をどれほどまとめて報告するか？
• RQ4 改善要請の頻度と分布は、ソフトウェア成熟度とリリースサイクルとどのように整合しているか？
• RQ5 NLPおよびネットワーク解析技術は、大規模かつ非構造的なユーザーのフィードバックから実行可能なパターンを効果的に同定できるか？

主な発見

• 最も頻繁に改善要請された機能は、連絡先、画面、通知、通話、カレンダー、メール、テキスト、キーボードであり、開発者からも注目を集める『api』についても顕著な要請が見られた。
• Jellybeanリリースが最も多くの改善要請を受けており、ユーザーの不満が顕著に表れた。
• 機能要請頻度とフォロワー数の間に強い正の相関（p < 0.01）が確認され、一般的に報告された問題はより高い可視性を持つことが示唆された。
• 共起分析により、ユーザーは連絡先、画面、通知、テキスト、キーボードの要請を頻繁にまとめて報告しており、相互に関連する使いやすさの懸念が示された。
• 『画面』と『音量』の要請が頻繁に同時に報告されており、統合されたインターフェースコントロールの必要性が示唆された。
• 本研究では80-20ルールへの明確な従順性は認められず、改善要請が少数の機能に集中しているのではなく、複数の機能に均等に分散していることが判明した。