[论文解读] Discovering Flaws in Security-Focused Static Analysis Tools for Android using Systematic Mutation

Richard Bonett, Kaushal Kafle+3 more|arXiv (Cornell University)|Jun 25, 2018

Advanced Malware Detection Techniques参考文献 68被引用 14

一句话总结

本文提出了基于变异的可靠性评估（μSE）框架，通过注入与安全相关的代码变异，系统性地发现Android静态分析工具中未记录的不 sound 设计缺陷。将μSE应用于数据泄露检测工具后，在一款主流工具中发现了13个隐藏缺陷，所有缺陷均传播至依赖该工具的其他工具，其中一处缺陷已与开发人员合作成功修复。

ABSTRACT

Mobile application security has been one of the major areas of security research in the last decade. Numerous application analysis tools have been proposed in response to malicious, curious, or vulnerable apps. However, existing tools, and specifically, static analysis tools, trade soundness of the analysis for precision and performance, and are hence soundy. Unfortunately, the specific unsound choices or flaws in the design of these tools are often not known or well-documented, leading to a misplaced confidence among researchers, developers, and users. This paper proposes the Mutation-based soundness evaluation ($\\mu$SE) framework, which systematically evaluates Android static analysis tools to discover, document, and fix, flaws, by leveraging the well-founded practice of mutation analysis. We implement $\\mu$SE as a semi-automated framework, and apply it to a set of prominent Android static analysis tools that detect private data leaks in apps. As the result of an in-depth analysis of one of the major tools, we discover 13 undocumented flaws. More importantly, we discover that all 13 flaws propagate to tools that inherit the flawed tool. We successfully fix one of the flaws in cooperation with the tool developers. Our results motivate the urgent need for systematic discovery and documentation of unsound choices in soundy tools, and demonstrate the opportunities in leveraging mutation testing in achieving this goal.

研究动机与目标

• 解决针对Android安全静态分析工具中不 sound 设计选择缺乏系统性评估的问题。
• 识别并记录广泛使用的静态分析工具中影响可靠性的未记录缺陷。
• 证明一个工具中的设计缺陷可传播至重用或继承其逻辑的其他工具。
• 提供一个半自动框架，使研究人员和开发人员能够检测、分析并修复此类缺陷。
• 通过软件工程中的变异测试，提升静态分析工具的透明度与鲁棒性。

提出的方法

• μSE框架生成针对特定分析目标（如检测私有数据泄露或SSL漏洞）的专用安全变异算子。
• 将这些算子注入真实Android应用程序，生成代表目标不良行为的变异体。
• 使用动态执行引擎（EE）判断哪些变异体可执行，从而确定其应被目标工具检测到。
• 未被静态分析工具检测到的变异体将被标记，供人工分析以识别工具设计中的根本缺陷。
• 该框架采用半自动工作流，过滤掉不可执行的变异体，以减轻分析人员的工作负担。
• 通过将μSE应用于知名静态分析工具（如FlowDroid和IccTA）进行数据泄露检测，验证了该方法。

实验结果

研究问题

• RQ1 安全导向的Android静态分析工具中，存在哪些类型的未记录不 sound 设计选择？
• RQ2 一个静态分析工具中的缺陷如何传播至重用或继承其逻辑的其他工具？
• RQ3 变异分析能否有效适配，以系统性评估Android安全背景下静态分析工具的可靠性？
• RQ4 μSE框架在多大程度上能检测并暴露传统测试方法所遗漏的缺陷？
• RQ5 该框架如何用于提升工具透明度，并指导开发人员修复已识别的缺陷？

主要发现

• μSE框架成功在一款广泛使用的开源Android静态分析工具（用于检测私有数据泄露）中发现13个未记录的缺陷。
• 所有13个缺陷均传播至继承该缺陷工具逻辑的其他工具，表明该生态系统中存在系统性风险。
• 其中一个缺陷已与工具开发人员合作成功修复，证明了该框架的实际应用价值。
• 研究发现，许多静态分析工具中的不 sound 设计选择既未被记录，也未被工具设计者所知晓，导致对其正确性的错误自信。
• 该框架通过动态排除不可执行变异体，显著减少了人工工作量，实现了对未被检测变异体的高效分析。
• 结果凸显了对静态分析工具中不 sound 选择进行系统性评估与文档化的重要性和紧迫性，以提升其可靠性与安全性。