[논문 리뷰] They'll Know It When They See It: Analyzing Post-Release Feedback from the Android Community

Sherlock A. Licorish, Chan Won Lee외 3명|arXiv (Cornell University)|2015. 01. 01.

Privacy, Security, and Data Protection참고 문헌 25인용 수 1

한 줄 요약

이 연구는 자연어 처리(NLP) 기술을 활용해 안드로이드 커뮤니티의 출시 후 기능 개선 요청을 분석하여 자주 요청되는 기능 개선 항목과 사용자 피드백의 패턴을 규명한다. 연구 결과, 연락처, 화면, 알림, 통화 기능이 가장 자주 개선 요청을 받았으며, 젤리빈 버전이 가장 비판을 많이 받은 것으로 나타났다. 또한 사용자들은 종종 여러 문제를 함께 요청함으로써 개발자의 우선순위 설정을 복잡하게 만들었다.

ABSTRACT

It is known that user involvement and user-centered design enhance system acceptance, particularly when end-users' views are considered early in the process. However, the increasingly common method of system deployment, through frequent releases via an online application distribution platform, relies more on post-release feedback from a virtual community. Such feedback may be received from large and diverse communities of users, posing challenges to developers in terms of extracting and identifying the most pressing requests to address. In seeking to tackle these challenges we have used natural language processing techniques to study enhancement requests logged by the Android community. We observe that features associated with a specific subset of topics were most frequently requested for improvement, and that end-users expressed particular discontent with the Jellybean release. End-users also tended to request improvements to specific issues together, potentially posing a prioritization challenge to Google.

연구 동기 및 목표

• 출시 후 안드로이드 가상 커뮤니티 내 피드백의 성격과 패턴을 이해하기 위해.
• 어느 안드로이드 기능이 가장 자주 개선 요청을 받는지 규명하기 위해.
• 특정 안드로이드 릴리스가 다른 릴리스보다 더 많은 기능 개선 요청을 유도하는지 조사하기 위해.
• 사용자들이 피드백에서 여러 기능 요청을 함께 묶는 경향이 있는지 조사하기 위해.
• 대규모 비정형 사용자 피드백에서 실질적인 통찰을 도출하기 위해 NLP 및 네트워크 분석 기법의 유용성을 평가하기 위해.

제안 방법

• 공개된 안드로이드 이슈 트래커에서 1,000건 이상의 기능 개선 요청을 수집하고 분석하였다.
• 자연어 처리(NLP) 기법을 적용하여 기능 관련 요청을 추출하고 분류하였다.
• 공동 발생 빈도를 분석하기 위해 점별 상호정보량(PMI)을 사용하여 함께 나타나는 기능 요청을 식별하고 피드백의 통합 패턴을 탐지하였다.
• 복잡한 네트워크 이론을 활용해 기능 개선 요청 간의 관계를 모델링하였다.
• 특징 공통 발생 패턴의 통계적 유의성을 평가하기 위해 켄달의 타우(τ) 상관계수를 계산하였다.
• 주요 안드로이드 OS 릴리스 일정을 기준으로 이슈를 묶어 릴리스 주기 동안 요청 수와 추세를 분석하였다.

실험 결과

연구 질문

• RQ1 출시 후 피드백에서 가장 자주 개선이 요청되는 안드로이드 기능은 무엇인가?
• RQ2 특정 안드로이드 릴리스가 다른 릴리스보다 더 많은 기능 개선 요청을 유도하는가?
• RQ3 사용자들이 피드백에서 여러 기능 요청을 얼마나 자주 함께 묶는가?
• RQ4 기능 개선 요청의 빈도와 분포는 소프트웨어 성숙도와 릴리스 주기와 어떻게 일치하는가?
• RQ5 NLP 및 네트워크 분석 기법은 대규모 비정형 사용자 피드백에서 실질적인 패턴을 효과적으로 식별할 수 있는가?

주요 결과

• 기능 개선 요청이 가장 자주 이루어진 기능은 연락처, 화면, 알림, 통화, 캘린더, 이메일, 텍스트, 키보드이며, 개발자들 사이에서도 'api'에 대한 관심이 높았다.
• 젤리빈 릴리스가 가장 많은 기능 개선 요청을 받았으며, 이는 사용자들의 뚜렷한 불만을 시사한다.
• 기능 요청 빈도와 팔로워 수 사이에 강한 양의 상관관계(p < 0.01)가 발견되어 일반적으로 공개된 문제에 대한 가시성이 높다는 것을 시사한다.
• 공동 발생 분석 결과, 사용자들은 종종 연락처, 화면, 알림, 텍스트, 키보드 기능의 요청을 함께 묶어 제기하여 상호 연관된 사용성 문제를 암시한다.
• 화면과 볼륨 기능에 대한 요청이 자주 함께 언급되어 통합 인터페이스 제어가 필요할 수 있음을 시사한다.
• 이 연구에서는 80-20 법칙이 명확히 적용되지 않았으며, 기능 개선 요청이 몇 가지 기능에 집중되어 있는 것이 아니라 여러 기능에 걸쳐 균형 있게 분포되어 있음을 발견하였다.