[논문 리뷰] Discovering Flaws in Security-Focused Static Analysis Tools for Android using Systematic Mutation

Richard Bonett, Kaushal Kafle외 3명|arXiv (Cornell University)|2018. 06. 25.

Advanced Malware Detection Techniques참고 문헌 68인용 수 14

한 줄 요약

이 논문은 보안 관련 코드 변형을 주입하여 안드로이드 정적 분석 도구의 문서화되지 않은 비음성 설계 결함을 체계적으로 드러내기 위해 변형 기반 음성 평가(μSE) 프레임워크를 제안한다. 데이터 泄露 탐지 도구에 μSE를 적용한 결과, 주요 도구에 13개의 숨겨진 결함을 발견하였으며, 이는 모두 종속 도구로까지 확산되었고, 한 결함은 개발자들과 협력하여 성공적으로 수정되었다.

ABSTRACT

Mobile application security has been one of the major areas of security research in the last decade. Numerous application analysis tools have been proposed in response to malicious, curious, or vulnerable apps. However, existing tools, and specifically, static analysis tools, trade soundness of the analysis for precision and performance, and are hence soundy. Unfortunately, the specific unsound choices or flaws in the design of these tools are often not known or well-documented, leading to a misplaced confidence among researchers, developers, and users. This paper proposes the Mutation-based soundness evaluation ($\\mu$SE) framework, which systematically evaluates Android static analysis tools to discover, document, and fix, flaws, by leveraging the well-founded practice of mutation analysis. We implement $\\mu$SE as a semi-automated framework, and apply it to a set of prominent Android static analysis tools that detect private data leaks in apps. As the result of an in-depth analysis of one of the major tools, we discover 13 undocumented flaws. More importantly, we discover that all 13 flaws propagate to tools that inherit the flawed tool. We successfully fix one of the flaws in cooperation with the tool developers. Our results motivate the urgent need for systematic discovery and documentation of unsound choices in soundy tools, and demonstrate the opportunities in leveraging mutation testing in achieving this goal.

연구 동기 및 목표

• 안드로이드 보안 중심 정적 분석 도구에서 비음성 설계 선택의 체계적 평가 부족 문제를 해결하기 위해.
• 음성에 영향을 주는 문서화되지 않은 결함을 널리 사용되는 정적 분석 도구에서 식별하고 기록하기 위해.
• 한 도구의 결함 설계 선택이 그 논리를 상속하는 다른 도구로 퍼져나가는 방식을 설명하기 위해.
• 연구자와 개발자가 이러한 결함을 탐지, 분석, 수정할 수 있도록 반자동 프레임워크를 제공하기 위해.
• 소프트웨어 공학에서의 변형 테스팅을 활용해 정적 분석 도구의 투명성과 강건성을 향상시키기 위해.

제안 방법

• μSE 프레임워크는 특정 분석 목표에 맞게 맞춤형 보안 연산자를 생성한다. 예를 들어, 개인 정보 泄露 탐지나 SSL 취약점 탐지 등.
• 이 연산자가 실제 안드로이드 애플리케이션에 삽입되어 타겟된 바람직하지 않은 동작을 나타내는 변형(mutant)을 생성한다.
• 동적 실행 엔진(EE)을 사용하여 어떤 변형이 실행 가능한지 확인함으로써, 타겟 도구가 감지해야 할 대상임을 판단한다.
• 정적 분석 도구가 감지하지 못한 변형은 수동 분석을 위해 경고 표시되며, 도구의 설계에 숨겨진 결함를 식별하는 데 사용된다.
• 비실행 가능한 변형을 걸러내어 분석자의 작업 부담을 줄이기 위해 반자동 워크플로우를 적용한다.
• 이 방법은 FlowDroid와 IccTA와 같은 주요 정적 분석 도구에 대해 데이터 泄露 탐지 목적으로 μSE를 적용하여 검증되었다.

실험 결과

연구 질문

• RQ1 보안 중심의 안드로이드 정적 분석 도구에 존재하는 문서화되지 않은 비음성 설계 선택은 어떤 유형이 있는가?
• RQ2 한 정적 분석 도구의 결함가 있는 설계 선택이 논리를 재사용하거나 상속하는 다른 도구로 어떻게 퍼져나가는가?
• RQ3 변형 분석이 안드로이드 보안 맥락에서 정적 분석 도구의 음성 평가를 체계적으로 적용하는 데 효과적으로 적응될 수 있는가?
• RQ4 μSE 프레임워크는 전통적 테스팅 접근 방식이 놓치는 결함을 어느 정도 탐지하고 노출시킬 수 있는가?
• RQ5 이 프레임워크는 도구의 투명성을 향상시키고, 식별된 결함를 수정하는 데 도움을 주기 위해 어떻게 활용될 수 있는가?

주요 결과

• μSE 프레임워크는 개인 정보 泄露 탐지 목적의 널리 사용되는 오픈소스 안드로이드 정적 분석 도구에서 13개의 문서화되지 않은 결함을 성공적으로 발견하였다.
• 이 13개의 결함 모두 결함이 있는 도구의 논리를 상속하는 다른 도구로까지 퍼져나갔으며, 생태계 전반에 걸친 체계적 위험을 시사한다.
• 식별된 결함 중 하나는 도구 개발자들과 협력하여 성공적으로 수정되었으며, 프레임워크의 실용적 유용성을 입증하였다.
• 연구 결과, 많은 정적 분석 도구의 비음성 설계 선택은 문서화되어 있지 않으며, 도구 설계자들조차도 그 정확성을 잘못 믿고 있음을 드러냈다.
• 비실행 가능한 변형을 동적으로 제거함으로써 프레임워크가 수동 작업을 크게 줄여, 감지되지 않은 변형의 효율적 분석을 가능하게 하였다.
• 결과는 정적 분석 도구의 신뢰성과 보안을 향상시키기 위해 비음성 선택의 체계적 평가와 문서화가 긴급히 필요하다는 점을 강조한다.