[논문 리뷰] DroidBugs: An Android Benchmark for Automatic Program Repair.

Larissa Azevedo, Altino Dantas외 1명|arXiv (Cornell University)|2018. 09. 19.

Software Testing and Debugging Techniques참고 문헌 7인용 수 4

한 줄 요약

DroidBugs는 각각 5,000회 이상 다운로드된 5개의 오픈소스 안드로이드 앱에서 유래한 13개의 단일 버그를 포함하는 새로운 안드로이드 벤치마크로, 모바일 환경에서 자동 프로그램 수리(APR) 기법을 평가하기 위해 설계되었다. Astor4Android와 두 가지 결함 위치 지정 전략을 활용한 연구는 모바일 전용 버그를 탐지하고 수정하는 데의 과제를 입증하며, 모바일 최적화된 APR 도구의 필요성을 강조한다.

ABSTRACT

Automated Program Repair (APR) is an emerging research field. Many APR techniques, for different programming language and platforms, have been proposed and evaluated on several Benchmarks. However, for our best knowledge, there not exists a well-defined benchmark based on mobile projects, consequently, there is a gap to leverage APR methods for mobile development. Therefore, regarding the amount of Android Applications around the world, we present DroidBugs, an introductory benchmark based on the analyzes of 360 open projects for Android, each of them with more than 5,000 downloads. From five applications, DroidBugs contains 13 single-bugs classified by the type of test that exposed them. By using an APR tool, called Astor4Android, and two common Fault Localization strategy, it was observed how challenging is to find and fix mobile bugs.

연구 동기 및 목표

• 안드로이드 애플리케이션에서 자동 프로그램 수리(APR) 기법을 평가하기 위한 표준화된 벤치마크의 부족을 보완한다.
• 모바일 소프트웨어 개발의 APR 연구를 지원하기 위해 인기 있고 생산 수준의 안드로이드 프로젝트에서 실제 발생한 버그를 식별하고 분류한다.
• 기존의 APR 도구와 결함 위치 지정 전략을 모바일 소프트웨어에 적용할 때의 실현 가능성과 난이도를 평가한다.
• 명확하고 재현 가능한 벤치마크를 제공함으로써 향후 모바일 전용 프로그램 수리 연구의 기반을 마련한다.

제안 방법

• 5,000회 이상 다운로드된 360개의 오픈소스 안드로이드 프로젝트를 분석하여 벤치마크의 후보 애플리케이션을 선정했다.
• 인기도와 코드베이스 안정성 기준으로 다섯 개의 대표적인 안드로이드 애플리케이션을 선별하여 DroidBugs에 포함시켰다.
• 선택된 애플리케이션 내에서 13개의 개별 버그를 식별하고 분류하였으며, 각 버그가 드러난 테스트 유형에 따라 분류하였다.
• 식별된 버그에 대해 Astor4Android 도구를 활용해 자동으로 패치를 생성하였다.
• 수리 과정을 안내하고 결함 위치 정확도를 평가하기 위해 두 가지 일반적인 결함 위치 지정 전략을 적용하였다.
• 실제 코드베이스와 실제 버그를 기반으로 실세계의 안드로이드 애플리케이션 환경에서 APR 기법의 효과성을 평가하였다.

실험 결과

연구 질문

• RQ1 기존의 APR 기법은 실세계의 안드로이드 애플리케이션에서 버그를 탐지하고 수정하는 데 얼마나 효과적인가?
• RQ2 기본적인 결함 위치 지정 전략을 사용할 때 안드로이드 앱의 버그를 국소화하고 수정하는 데의 난이도는 어떠한가?
• RQ3 Astor4Android와 같은 현재의 APR 도구가 모바일 전용 버그에 대해 정확한 패치를 성공적으로 생성할 수 있는 정도는 어느 정도인가?
• RQ4 식별된 버그들이 실세계의 안드로이드 개발 복잡성 측면에서 얼마나 대표적이며 도전적인가?

주요 결과

• 벤치마크는 다운로드 수 5,000회 이상인 다섯 개의 인기 애플리케이션에서 유래한 13개의 명확히 정의된 단일 버그 인스턴스를 포함한다.
• DroidBugs 벤치마크에 Astor4Android를 적용한 결과, 정확한 패치 생성에 있어 상당한 과제가 드러나며, 이는 모바일 전용 수리의 어려움을 시사한다.
• 두 가지 결함 위치 지정 전략을 적용했지만, 안드로이드 프로젝트에서 정확한 결함 코드를 특정하는 데서의 효과성은 제한적이었으며, 이는 모바일 코드베이스의 복잡성을 반영한다.
• 결과는 현재의 APR 기법이 실세계의 안드로이드 프로젝트에 적용될 때 상당한 장벽에 부딪히며, 모바일 최적화된 수리 접근법의 필요성을 강조한다.
• 본 연구는 기존의 벤치마크가 모바일 환경에서 APR 평가에 부적합함을 확인하며, DroidBugs가 목표 지향적인 솔루션으로서의 필요성을 입증한다.
• 벤치마크는 확장 가능하고 재현 가능하도록 설계되어 있어, 향후 안드로이드 플랫폼에서 APR 도구의 평가 및 비교를 가능하게 한다.