[논문 리뷰] Supporting Developers in Addressing Human-centric Issues in Mobile Apps

Hourieh Khalajzadeh, Mojtaba Shahin외 3명|arXiv (Cornell University)|2022. 03. 23.

Software Engineering Techniques and Practices인용 수 5

한 줄 요약

이 논문은 구글 플레이 스토어 리뷰 1,200건과 깃허브 이슈 커멘트 1,200건을 바탕으로 인간 중심의 문제에 대한 분류 체계를 제안한다. 이는 앱 사용, 포용성, 사용자 반응으로 나뉘며, 기계 학습 및 딥 러닝 모델을 개발해 이러한 문제들을 자동으로 탐지한다. 16名의 개발자 대상 설문 조사로 실용적 가치를 검증하여 포용적인 앱 개발에 기여한다.

ABSTRACT

Failure to consider the characteristics, limitations, and abilities of diverse end-users during mobile apps development may lead to problems for end-users such as accessibility and usability issues. We refer to this class of problems as human-centric issues. Despite their importance, there is a limited understanding of the types of human-centric issues that are encountered by end-users and taken into account by the developers of mobile apps. In this paper, we examine what human-centric issues end-users report through Google App Store reviews, which human-centric issues are a topic of discussion for developers on GitHub, and whether end-users and developers discuss the same human-centric issues. We then investigate whether an automated tool might help detect such human-centric issues and whether developers would find such a tool useful. To do this, we conducted an empirical study by extracting and manually analysing a random sample of 1,200 app reviews and 1,200 issue comments from 12 diverse projects that exist on both Google App Store and GitHub. Our analysis led to a taxonomy of human-centric issues that categorises human-centric issues into three-high levels: App Usage, Inclusiveness, and User Reaction. We then developed machine learning and deep learning models that are promising in automatically identifying and classifying human-centric issues from app reviews and developer discussions. A survey of mobile app developers shows that the automated detection of human-centric issues has practical applications. Guided by our findings, we highlight some implications and possible future work to further understand and incorporate human-centric issues in mobile apps development.

연구 동기 및 목표

• 최종 사용자가 구글 플레이 스토어 리뷰에서 보고한 인간 중심 문제의 유형을 이해하고자 한다.
• 최종 사용자와 개발자가 플랫폼 간에 동일한 인간 중심 문제를 얼마나 공유하여 논의하고 있는지 확인하고자 한다.
• 기계 학습 및 딥 러닝 모델을 활용한 인간 중심 문제의 자동 탐지 가능성과 유용성을 조사하고자 한다.
• 모바일 앱 개발에서 인간 중심 문제를 자동 탐지하는 도구에 대한 개발자들의 인식을 평가하고자 한다.

제안 방법

• 구글 플레이 스토어와 깃허브에 모두 존재하는 12개의 모바일 앱에서 1,200건의 앱 리뷰와 1,200건의 깃허브 이슈 커멘트를 수집하고 수작업으로 분석하였다.
• 앱 사용, 포용성, 사용자 반응으로 구성된 3단계 분류 체계를 수립하였으며, 개인정보 및 보안, 접근성, 정서적 요소 등의 하위 카테고리 포함.
• 분류된 데이터셋을 기반으로 기계 학습 및 딥 러닝 모델을 훈련하고 평가하여 앱 리뷰 및 이슈 커멘트 내 인간 중심 문제를 분류하는 데에 활용하였다.
• 16명의 모바일 앱 개발자 대상 온라인 설문 조사를 실시하여 인간 중심 문제 자동 탐지 도구의 실용적 유용성을 평가하였다.
• 정성적 주제 분석과 정량적 모델 평가를 융합한 혼합 방법론을 사용하여 타당성과 실용적 관련성을 확보하였다.

실험 결과

연구 질문

• RQ1 최종 사용자가 구글 플레이 스토어 리뷰에서 보고한 인간 중심 문제의 유형은 무엇이며, 깃허브에서 개발자가 논의하는 문제와 비교해보면 어떠한가?
• RQ2 최종 사용자와 개발자가 플랫폼 간에 얼마나 유사한 인간 중심 문제를 논의하고 있는가?
• RQ3 기계 학습 및 딥 러닝 모델이 앱 리뷰 및 이슈 커멘트에서 인간 중심 문제를 효과적으로 탐지하고 분류할 수 있는가?
• RQ4 실제로 모바일 앱 개발자들이 인간 중심 문제의 자동 탐지 도구를 얼마나 실용적으로 유용하게 느끼는가?

주요 결과

• 최종 사용자가 보고한 인간 중심 문제의 수가 개발자보다 거의 두 배에 달했으며, 앱 사용 문제가 가장 빈번하게 보고된 카테고리였다.
• 앱 사용 문제는 사용자 리뷰에서 가장 흔했지만, 개발자들은 앱 사용, 포용성, 사용자 반응 문제를 거의 동일한 빈도로 논의하였다.
• 제안된 기계 학습 및 딥 러닝 모델은 비정형 텍스트에서 인간 중심 문제를 자동으로 탐지하고 분류하는 데 있어 유망한 성능을 보였다.
• 16명의 개발자로부터 수집한 설문 결과, 인간 중심 문제의 자동 탐지는 실용적 가치가 있으며, 모바일 앱 개발의 포용성과 사용성 향상에 기여할 수 있음을 확인하였다.
• 분류 체계를 통해 포용성, 특히 접근성, 언어, 위치와 관련된 요소가 중요한데도 불구하고 개발자 토론에서 다뤄지지 않는다는 점이 드러났다.
• 이 연구는 인간 중심 문제의 보고 및 대응 방식에 있어 심각한 격차가 있음을 밝혀내었으며, 소프트웨어 개발 워크플로우에 자동 지원 도구가 필요하다는 점을 시사한다.