[论文解读] Supporting Developers in Addressing Human-centric Issues in Mobile Apps

Hourieh Khalajzadeh, Mojtaba Shahin+3 more|arXiv (Cornell University)|Mar 23, 2022

Software Engineering Techniques and Practices被引用 5

一句话总结

本文基于对1,200条Google Play商店评论和1,200条GitHub问题评论的分析，提出了一套以人为中心的移动应用问题分类体系，将问题划分为应用使用、包容性与用户反应三类。研究构建了机器学习与深度学习模型，以自动检测这些问题，并通过16名开发者的调查验证了其实际应用价值，为更具包容性的应用开发提供了支持。

ABSTRACT

Failure to consider the characteristics, limitations, and abilities of diverse end-users during mobile apps development may lead to problems for end-users such as accessibility and usability issues. We refer to this class of problems as human-centric issues. Despite their importance, there is a limited understanding of the types of human-centric issues that are encountered by end-users and taken into account by the developers of mobile apps. In this paper, we examine what human-centric issues end-users report through Google App Store reviews, which human-centric issues are a topic of discussion for developers on GitHub, and whether end-users and developers discuss the same human-centric issues. We then investigate whether an automated tool might help detect such human-centric issues and whether developers would find such a tool useful. To do this, we conducted an empirical study by extracting and manually analysing a random sample of 1,200 app reviews and 1,200 issue comments from 12 diverse projects that exist on both Google App Store and GitHub. Our analysis led to a taxonomy of human-centric issues that categorises human-centric issues into three-high levels: App Usage, Inclusiveness, and User Reaction. We then developed machine learning and deep learning models that are promising in automatically identifying and classifying human-centric issues from app reviews and developer discussions. A survey of mobile app developers shows that the automated detection of human-centric issues has practical applications. Guided by our findings, we highlight some implications and possible future work to further understand and incorporate human-centric issues in mobile apps development.

研究动机与目标

• 理解终端用户在Google Play商店评论中报告的人为中心的问题类型，以及开发者在GitHub上讨论的相关问题。
• 识别终端用户与开发者在不同平台上是否讨论相同的人为中心的问题。
• 探究利用机器学习与深度学习模型自动检测人为中心问题的可行性与实用性。
• 评估移动应用开发者对自动化检测工具在移动应用开发中识别人为中心问题的感知价值。

提出的方法

• 从12个同时存在于Google Play商店与GitHub上的移动应用中，收集并人工分析了1,200条应用评论与1,200条GitHub问题评论。
• 构建了一个包含三级分类的人为中心问题分类体系，涵盖应用使用、包容性与用户反应三类，子类别包括隐私与安全、可访问性以及情感因素等。
• 在标注数据集上训练并评估了多种机器学习与深度学习模型，以对应用评论与问题评论中的人为中心问题进行分类。
• 通过在线调查方式，向16名移动应用开发者收集意见，评估其对自动化检测工具在识别人为中心问题方面实用性的看法。
• 采用混合方法研究策略，结合定性主题分析与定量模型评估，以确保研究的稳健性与实际相关性。

实验结果

研究问题

• RQ1 终端用户在Google Play商店评论中报告了哪些类型的人为中心问题？这些与开发者在GitHub上讨论的问题相比有何异同？
• RQ2 终端用户与开发者在不同平台上讨论相同的人为中心问题的程度如何？
• RQ3 机器学习与深度学习模型是否能够有效检测并分类应用评论与问题评论中的人为中心问题？
• RQ4 在实践中，移动应用开发者如何看待自动化检测人为中心问题的实用价值？

主要发现

• 终端用户报告的人为中心问题数量接近开发者的两倍，其中应用使用类问题报告频率最高。
• 应用使用类问题在用户评论中最为常见，而开发者在讨论中对应用使用、包容性与用户反应三类问题的提及频率大致相当。
• 所提出的机器学习与深度学习模型在从非结构化文本中自动检测与分类人为中心问题方面表现出良好性能。
• 来自16名开发者的调查结果证实，自动化检测人为中心问题具有实际应用价值，能够提升移动应用开发中的包容性与可用性。
• 分类体系揭示，包容性（特别是可访问性、语言与位置相关问题）是一个关键但开发者讨论中严重不足的类别。
• 本研究识别出在问题报告与处理方面存在显著差距，凸显了在软件开发工作流中引入自动化支持工具的迫切需求。