[논문 리뷰] Constrained Adversarial Learning for Automated Software Testing: a literature review

João Vitorino, Tiago Dias외 3명|arXiv (Cornell University)|2023. 03. 14.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 체계적 리뷰는 입력 제약 조건을 준수하는 기능적으로 타당한 공격 유사 입력을 생성함으로써 테스트 커버리지와 내구성을 햖을 수 있도록 자동화된 소프트웨어 테스팅에 제약 조건이 있는 적대적 학습을 통합할 것을 제안한다. 실행 경로 데이터를 기반으로 훈련된 GAN(특히 WGAN-GP)을 활용함으로써, 이 방법은 무작위 테스팅보다 더 효율적으로 분기 커버리지를 향상시켜 백본 테스팅 환경에서 수동 작업과 계산 비용을 줄인다.

ABSTRACT

It is imperative to safeguard computer applications and information systems against the growing number of cyber-attacks. Automated software testing tools can be developed to quickly analyze many lines of code and detect vulnerabilities by generating function-specific testing data. This process draws similarities to the constrained adversarial examples generated by adversarial machine learning methods, so there could be significant benefits to the integration of these methods in testing tools to identify possible attack vectors. Therefore, this literature review is focused on the current state-of-the-art of constrained data generation approaches applied for adversarial learning and software testing, aiming to guide researchers and developers to enhance their software testing tools with adversarial testing methods and improve the resilience and robustness of their information systems. The found approaches were systematized, and the advantages and limitations of those specific for white-box, grey-box, and black-box testing were analyzed, identifying research gaps and opportunities to automate the testing tools with data generated by adversarial attacks.

연구 동기 및 목표

• 증가하는 사이버 위협과 복잡한 시스템에 대비해 자동화되고 효율적이며 종합적인 소프트웨어 테스팅의 증가하는 수요를 해결하기 위해.
• 현재 자동화된 테스팅 도구의 한계를 특정화하기 위해, 특히 수동 테스트 설계, 무작위 입력 생성 또는 포괄적인 매개변수 변형에 대한 의존성.
• 적대적 기계 학습에서의 제약 조건이 있는 데이터 생성 기법이 소프트웨어 테스팅에 어떻게 응용되어 유효하고 타겟된 테스트 입력을 생성할 수 있는지 탐색하기 위해.
• 테스트 대상 시스템의 기능적 및 구조적 제약 조건을 준수하는 적대적 학습 기법을 활용해 연구자와 실무자가 소프트웨어 테스팅 도구를 향상시키는 데 안내하기 위해.
• 특히 백본 및 GREY-박스 테스팅 환경에서 적대적 방법을 소프트웨어 테스팅에 적용하는 데 있어 연구 격차와 향후 연구 기회를 부각시키기 위해.

제안 방법

• PRISMA 프레임워크를 사용하여 제약 조건이 있는 적대적 학습 및 소프트웨어 테스팅 분야의 관련 연구를 식별하기 위해 체계적 문헌 리뷰를 수행하였다.
• 포괄적인 커버리지를 확보하기 위해 '제약 조건이 있는 데이터 생성', '적대적 예제', '조건부 생성기', '편차 제약 조건' 등의 다양한 표현을 포함한 넓은 범위의 유연한 검색어를 사용하여 참고문헌 데이터베이스를 검색하였다.
• 소프트웨어 입력의 기능적 또는 문법적 제약 조건(예: 데이터 유형, 형식, 논리적 범위)을 준수하는 편차를 생성하는 적대적 학습 방법에 집중하였다.
• Gcov와 같은 도구로부터의 실행 경로 정보를 활용하는 백본 접근 방식을 평가하여, 미테스트된 분기를 타겟으로 하는 GAN을 훈련시켜 코드 커버리지를 극대화하는 데 목적이 있었다.
• 특히 WGAN-GP를 포함한 생성적 적대적 네트워크(GAN)를 적용하여 테스트 대상 시스템의 동작을 학습하고 반복적으로 분기 커버리지를 향상시키는 새로운 테스트 입력을 생성하였다.
• 생성된 입력을 실행하고 실행 경로를 로깅한 후 결과를 재훈련에 활용하는 피드백 루프를 통합함으로써, 적응형이고 커버리지 중심의 테스트 데이터 생성을 가능하게 하였다.

Figure 1: PRISMA search process for RQ1.

실험 결과

연구 질문

• RQ1 어떻게 적대적 학습 기법을 소프트웨어 테스팅에서 제약 조건이 있는 데이터 생성에 활용할 수 있는가?
• RQ2 어떻게 자동화된 소프트웨어 테스팅 도구는 적대적 기계 학습에서 유래한 제약 조건이 있는 데이터 생성 기법으로부터 혜택을 볼 수 있는가?
• RQ3 기존 자동화된 테스팅 도구가 높은 테스트 커버리지를 효율적으로 달성하는 데 있어 현재 어떤 한계를 지니고 있는가?
• RQ4 GAN 기반 접근 방식은 랜덤 또는 히ュ리스틱 기반 테스팅 전략에 비해 어떻게 테스트 커버리지를 향상시킬 수 있는가?
• RQ5 어떤 적대적 기계 학습 기법이 소프트웨어 테스팅의 내구성과 효율성을 향상시키기 위해 적응 가능하게 조정될 수 있는가?

주요 결과

• WGAN-GP 기반 접근 방식은 랜덤 테스팅 대비 7개의 단위 테스트 함수 중 5개에서 분기 커버리지를 향상시켜 제약 조건 인식 적대적 생성의 효과성을 입증하였다.
• Gcov와 같은 도구로부터의 실행 경로 피드백을 활용한 백본 테스팅은 반복적인 테스트 입력 개선을 가능하게 하여, 포괄적 탐색 없이도 커버리지를 크게 향상시켰다.
• 대부분의 현재 자동화된 테스팅 도구는 히ュ리스틱 또는 무작위 입력 변형에 의존하고 있으며, 이는 계산 비용이 높고 종종 복잡하거나 제약 조건이 있는 입력 공간을 효율적으로 탐색하지 못한다.
• 제약 조건이 있는 적대적 학습은 유효하고 기능적으로 타당한 입력만 생성함으로써 검색 공간을 줄여, 복잡한 시스템에 대해 더 효율적이고 확장 가능한 테스팅을 가능하게 한다.
• 특히 제약 조건을 강제 적용하는 GAN을 활용한 적대적 기계 학습 기법을 소프트웨어 테스팅 파이프라인에 직접 통합하기 위한 명백한 연구 격차가 존재한다.
• 미래의 통합에서 NLP를 활용해 코드에서 제약 조건을 추출하고, 흐린 논리와 강화 학습을 결합해 블랙박스 API 테스팅에 적응성과 내구성을 향상시킬 수 있다.

Figure 2: PRISMA search process for RQ2.