[論文レビュー] Supporting Developers in Addressing Human-centric Issues in Mobile Apps

Hourieh Khalajzadeh, Mojtaba Shahin+3 more|arXiv (Cornell University)|Mar 23, 2022

Software Engineering Techniques and Practices被引用数 5

ひとこと要約

本論文は、1,200件のGoogle Playストアレビューおよび1,200件のGitHubイシューコメントを分析し、アプリ利用、包括性、ユーザー反応の3つに分類される人間中心の問題の分類法を提案する。機械学習およびディープラーニングモデルを用いてこれらの問題を自動検出する手法を開発し、16名の開発者を対象としたアンケートで有効性を検証し、包括的なアプリ開発における実用的価値を示した。

ABSTRACT

Failure to consider the characteristics, limitations, and abilities of diverse end-users during mobile apps development may lead to problems for end-users such as accessibility and usability issues. We refer to this class of problems as human-centric issues. Despite their importance, there is a limited understanding of the types of human-centric issues that are encountered by end-users and taken into account by the developers of mobile apps. In this paper, we examine what human-centric issues end-users report through Google App Store reviews, which human-centric issues are a topic of discussion for developers on GitHub, and whether end-users and developers discuss the same human-centric issues. We then investigate whether an automated tool might help detect such human-centric issues and whether developers would find such a tool useful. To do this, we conducted an empirical study by extracting and manually analysing a random sample of 1,200 app reviews and 1,200 issue comments from 12 diverse projects that exist on both Google App Store and GitHub. Our analysis led to a taxonomy of human-centric issues that categorises human-centric issues into three-high levels: App Usage, Inclusiveness, and User Reaction. We then developed machine learning and deep learning models that are promising in automatically identifying and classifying human-centric issues from app reviews and developer discussions. A survey of mobile app developers shows that the automated detection of human-centric issues has practical applications. Guided by our findings, we highlight some implications and possible future work to further understand and incorporate human-centric issues in mobile apps development.

研究の動機と目的

• エンドユーザーがGoogle Playストアレビューで報告する人間中心の問題の種類を理解すること。
• エンドユーザーと開発者が、異なるプラットフォームで同じ人間中心の問題をどれだけ共有して議論しているかを特定すること。
• 機械学習およびディープラーニングモデルを用いた人間中心の問題の自動検出の可能性と有用性を調査すること。
• モバイルアプリ開発における人間中心の問題を自動検出するツールについて、開発者の認識を評価すること。

提案手法

• Google PlayストアおよびGitHubに公開されている12のモバイルアプリから、1,200件のアプリレビューおよび1,200件のGitHubイシューコメントを収集し、手動で分析した。
• アプリ利用、包括性、ユーザー反応の3つのレベルの分類法を構築し、プライバシー・セキュリティ、アクセシビリティ、感情的側面などのサブカテゴリを含めた。
• アノテート済みデータセットを用いて、複数の機械学習およびディープラーニングモデルを訓練・評価し、アプリレビューおよびイシューコメントにおける人間中心の問題の分類を実施した。
• 16名のモバイルアプリ開発者を対象としたオンラインアンケートを実施し、人間中心の問題を自動検出するツールの有用性を評価した。
• 定性的なテーマ分析と定量的なモデル評価を組み合わせた混合手法を用い、妥当性と実用的関連性を確保した。

実験結果

リサーチクエスチョン

• RQ1 エンドユーザーはGoogle Playストアレビューでどのような人間中心の問題を報告しており、それらはGitHubでの開発者間の議論とどのように比較されるか？
• RQ2 エンドユーザーと開発者が、異なるプラットフォーム間でどれくらいの共通の問題を議論しているか？
• RQ3 機械学習およびディープラーニングモデルは、アプリレビューおよびイシューコメントにおける人間中心の問題を効果的に検出・分類できるか？
• RQ4 実際の開発現場において、モバイルアプリ開発者が人間中心の問題の自動検出をどれほど有用だと感じているか？

主な発見

• エンドユーザーは開発者に比べてほぼ2倍の人数で人間中心の問題を報告しており、特にアプリ利用関連の問題が最も多く報告された。
• アプリ利用関連の問題はユーザーのレビューで最も多く見られたが、開発者間の議論ではアプリ利用、包括性、ユーザー反応の問題がほぼ同程度に議論された。
• 提案された機械学習およびディープラーニングモデルは、非構造化テキストから人間中心の問題を自動検出・分類する上で有望な性能を示した。
• 16名の開発者によるアンケート結果から、人間中心の問題の自動検出には実用的価値があり、モバイルアプリ開発における包括性と使いやすさの向上に寄与できることが確認された。
• 分類法の分析から、アクセシビリティ、言語、場所に関する包括性が、特に重要なが、開発者間の議論ではあまり取り上げられていないカテゴリであることが判明した。
• 本研究では、人間中心の問題が報告・対応される方法に顕著なギャップが存在することを特定し、ソフトウェア開発ワークフローにおける自動支援ツールの必要性を浮き彫りにした。