[论文解读] Constrained Adversarial Learning for Automated Software Testing: a literature review

João Vitorino, Tiago Dias+3 more|arXiv (Cornell University)|Mar 14, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本篇系统性综述提出将约束对抗学习整合到自动化软件测试中，通过生成符合输入约束、功能有效且类似攻击的输入，以提升测试覆盖率和鲁棒性。通过在执行路径数据上训练生成对抗网络（GANs），特别是WGAN-GP，该方法比随机测试更高效地提升分支覆盖率，从而在白盒测试场景中减少人工工作量和计算成本。

ABSTRACT

It is imperative to safeguard computer applications and information systems against the growing number of cyber-attacks. Automated software testing tools can be developed to quickly analyze many lines of code and detect vulnerabilities by generating function-specific testing data. This process draws similarities to the constrained adversarial examples generated by adversarial machine learning methods, so there could be significant benefits to the integration of these methods in testing tools to identify possible attack vectors. Therefore, this literature review is focused on the current state-of-the-art of constrained data generation approaches applied for adversarial learning and software testing, aiming to guide researchers and developers to enhance their software testing tools with adversarial testing methods and improve the resilience and robustness of their information systems. The found approaches were systematized, and the advantages and limitations of those specific for white-box, grey-box, and black-box testing were analyzed, identifying research gaps and opportunities to automate the testing tools with data generated by adversarial attacks.

研究动机与目标

• 应对日益增长的网络威胁和复杂系统所带来的自动化、高效且全面的软件测试需求。
• 识别当前自动化测试工具的局限性，特别是其对人工测试设计、随机输入生成或参数穷举变异的依赖。
• 探索对抗机器学习中的约束数据生成方法如何被适配以改进软件测试，通过生成有效且有针对性的测试输入。
• 指导研究人员和实践者通过尊重被测系统功能与结构约束的对抗学习技术，提升软件测试工具的能力。
• 突出在白盒和灰盒测试场景下，将对抗方法应用于软件测试的研究空白与未来工作机会。

提出的方法

• 采用PRISMA框架开展系统性文献综述，以识别关于对抗机器学习中约束数据生成及软件测试的相关研究。
• 通过广泛的灵活搜索词（包括“约束数据生成”、“对抗样本”、“条件生成器”和“扰动约束”的变体）检索文献数据库，确保全面覆盖。
• 聚焦于生成尊重软件输入功能或语法约束（如数据类型、格式或逻辑边界）的扰动的对抗学习方法。
• 评估利用执行路径信息（如Gcov）的白盒方法，通过训练GAN生成能最大化代码覆盖率的测试输入，以覆盖未测试分支。
• 应用生成对抗网络（GANs），特别是WGAN-GP，以学习被测系统的行为，并迭代生成新测试输入以提升分支覆盖率。
• 引入反馈回路机制：执行生成的输入，记录其执行路径，并将结果用于重新训练GAN，从而实现自适应且以覆盖率为导向的测试数据生成。

Figure 1: PRISMA search process for RQ1.

实验结果

研究问题

• RQ1 如何利用对抗学习方法实现软件测试中的约束数据生成？
• RQ2 基于对抗机器学习的约束数据生成技术如何使自动化软件测试工具受益？
• RQ3 现有自动化测试工具在高效实现高测试覆盖率方面存在哪些局限性？
• RQ4 与随机或启发式测试策略相比，基于GAN的方法在提升测试覆盖率方面有何优势？
• RQ5 有哪些可迁移的对抗机器学习技术可被适配以增强软件测试的鲁棒性与效率？

主要发现

• 基于WGAN-GP的方法在7个单元测试函数中的5个中，相比随机测试显著提升了分支覆盖率，证明了约束感知对抗生成的有效性。
• 利用Gcov等工具提供的执行路径反馈进行白盒测试，可实现测试输入的迭代优化，显著提升覆盖率，且无需穷举搜索。
• 大多数当前自动化测试工具依赖启发式或随机输入变异，计算成本高，且往往无法高效探索复杂或受限的输入空间。
• 约束对抗学习通过仅生成有效且功能上合理的输入，缩小了搜索空间，使复杂系统的测试更高效且可扩展。
• 在将对抗机器学习技术（尤其是具备约束约束能力的GAN）直接集成到软件测试流程方面，仍存在明显的研究空白。
• 未来可将自然语言处理（NLP）用于从代码中提取约束，结合模糊逻辑与强化学习用于黑盒API测试，进一步提升自动化测试工具的适应性与鲁棒性。

Figure 2: PRISMA search process for RQ2.