[논문 리뷰] Fine-grained Code Coverage Measurement in Automated Black-box Android Testing

Aleksandr Pilgun, Olga Gadyatskaya외 3명|arXiv (Cornell University)|2018. 12. 27.

Software Testing and Debugging Techniques인용 수 5

한 줄 요약

이 논문은 소스 코드 없이도 애자일 블랙박스 Android 테스팅에서 세밀한 코드 커버리지 측정을 가능하게 하는 새로운 오픈소스 도구인 ACVTool을 제안한다. 이 도구는 smali 형식의 달빅 바이트코드를 인스트루먼트하여 작동하며, 96.9%의 인스트루먼트 성공률을 기록하고 런타임 오버헤드가 최소화되었으며, Sapienz를 활용한 대규모 평가를 통해 명령어 수준 커버리지가 더 넓은 범위의 메트릭(예: 메서드 수준)보다 결함 탐지 능력이 뛰어나다는 것을 입증한다.

ABSTRACT

Today, there are millions of third-party Android applications. Some of these applications are buggy or even malicious. To identify such applications, novel frameworks for automated black-box testing and dynamic analysis are being developed by the Android community, including Google. Code coverage is one of the most common metrics for evaluating effectiveness of these frameworks. Furthermore, code coverage is used as a fitness function for guiding evolutionary and fuzzy testing techniques. However, there are no reliable tools for measuring fine-grained code coverage in black-box Android app testing. We present the Android Code coVerage Tool, ACVTool for short, that instruments Android apps and measures the code coverage in the black-box setting at the class, method and instruction granularities. ACVTool has successfully instrumented 96.9% of apps in our experiments. It introduces a negligible instrumentation time overhead, and its runtime overhead is acceptable for automated testing tools. We show in a large-scale experiment with Sapienz, a state-of-art testing tool, that the fine-grained instruction-level code coverage provided by ACVTool helps to uncover a larger amount of faults than coarser-grained code coverage metrics.

연구 동기 및 목표

• 제3자 앱에서 소스 코드가 없기 때문에 블랙박스 Android 테스팅을 위한 신뢰할 수 있고 세밀한 코드 커버리지 도구의 부족을 해결하기 위해.
• 기존 도구의 한계를 극복하기 위해, 예를 들어 낮은 인스트루먼트 성공률(예: 36% 및 65%)과 넓은 범위의 메트릭(예: 메서드 수준 전용)을 해결하기 위해.
• 모든 테스팅 또는 동적 분석 프레임워크와 호환되는 자체 포함형, 투명하고 효율적인 인스트루먼트 솔루션을 제공하기 위해.
• 테스트 효과성 향상과 피트니스 함수 안내를 위해 클래스, 메서드, 명령어 수준에서 정확한 세밀한 커버리지 측정을 가능하게 하기 위해.
• 실제 애플리케이션과의 호환성과 오픈소스 공개를 통해 Android 연구 및 산업계 전반의 보급을 지원하기 위해.

제안 방법

• 소스 코드가 필요 없이, 애자일 앱의 smali 표현(달빅 바이트코드용 인간이 읽을 수 있는 어셈블리 유사 코드)을 수정하여 인스트루먼트한다.
• 런타임 중 코드 실행을 추적하기 위해 클래스, 메서드, 명령어 수준에 프로브를 삽입하여 세밀한 커버리지 수집을 가능하게 한다.
• 레지스터 기반 연산과 복잡한 제어 흐름과 같은 저수준 달빅 바이트코드 특수성을 다루는 전용 인스트루먼트 파이프라인을 사용한다.
• 실행 중 성능 저하 요소를 피하고 프로브 삽입을 최적화하여 최소한의 런타임 오버헤드를 확보한다.
• Sapienz와 같은 기존 테스팅 프레임워크와 통합하여, 정형화되고 분석 가능한 형식으로 커버리지 및 크래시 정보를 보고한다.
• 멀티덱스 및 복잡한 메서드 서명과 같은 달빅 바이트코드의 극단적인 케이스를 처리함으로써 후행 호환성과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 소스 코드에 접근할 수 없는 실세계 Android 애플리케이션에서 블랙박스 코드 커버리지 도구가 높은 인스트루먼트 성공률을 달성할 수 있는가?
• RQ2 명령어 수준의 코드 커버리지가 더 넓은 메트릭(예: 메서드 수준)보다 자동화된 테스팅 및 결함 탐지 지도에 얼마나 효과적인가?
• RQ3 실제 Android 애플리케이션에서 세밀한 코드 커버리지 인스트루먼트의 런타임 성능 오버헤드는 어느 정도인가?
• RQ4 세밀한 커버리지가 유효성 검증 및 퍼지 테스팅 프레임워크의 효과성을 얼마나 향상시킬 수 있는가? 특히 피트니스 함수로서의 역할을 고려할 때.
• RQ5 ELLA, InsDal, CovDroid와 같은 기존 도구와 비교해 ACVTool의 인스트루먼트 접근 방식은 신뢰성과 확장성 측면에서 얼마나 뛰어나게 되는가?

주요 결과

• 평가 과정에서 ACVTool은 1,278개의 실세계 Android 애플리케이션 중 96.9%를 성공적으로 인스트루먼트했으며, 이는 이전 도구의 성공률(36% 및 65%)에 비해 뚜렷이 뛰어난 성과이다.
• 도구는 인스트루먼트 시간 오버헤드가 거의 없고, 수용 가능한 런타임 오버헤드를 기록하여 자동화된 테스팅 파이프라인에 통합하기에 실용적이다.
• Sapienz를 활용한 대규모 실험에서, ACVTool이 제공하는 명령어 수준 커버리지는 더 넓은 메트릭보다 더 많은 결함을 드러내었으며, 세밀함의 중요성을 입증했다.
• ACVTool의 smali 기반 인스트루먼트 접근 방식은 바이트코드를 자바 또는 Jimple로 변환하는 데 의존하는 대안보다 더 신뢰성 있고 정확하다. 이러한 대안은 많은 애플리케이션에서 실패한다.
• 도구의 오픈소스 공개와 기존 프레임워크와의 호환성 덕분에, 오래되거나 접근 불가능한 도구(예: ELLA, BBoxTester)의 실질적 대체 가능성이 높아졌다.
• 이 연구는 블랙박스 테스팅에서 유효한 피트니스 함수 설계를 위해서는 세밀한 커버리지가 필수적임을 확인했으며, 특히 유효성 검증 및 퍼지 기반 테스팅 전략에서 중요하다.