[논문 리뷰] CAGFuzz: Coverage-Guided Adversarial Generative Fuzzing Testing of Deep Learning Systems

Pengcheng Zhang, Qiyin Dai외 1명|arXiv (Cornell University)|2019. 11. 14.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 6

한 줄 요약

CAGFuzz는 심층 학습 시스템 테스팅을 향상시키기 위해 데이터 분포에서 일반적인 적대적 예제 생성기(AEG)를 훈련하고, 깊이 있는 특징 제약(Cosine 유사도)을 사용하여 의미를 유지하면서 눈에 띄지 않는 변형을 생성함으로써, 신경망의 커버리지 향상, 숨겨진 오류 탐지, 표준 데이터셋에서의 DNN 정확도 향상을 달성하는 커버리지 유도 적대적 생성 퍼징 프레임워크이다.

ABSTRACT

Deep Learning systems (DL) based on Deep Neural Networks (DNNs) are more and more used in various aspects of our life, including unmanned vehicles, speech processing, and robotics. However, due to the limited dataset and the dependence on manual labeling data, DNNs often fail to detect their erroneous behaviors, which may lead to serious problems. Several approaches have been proposed to enhance the input examples for testing DL systems. However, they have the following limitations. First, they design and generate adversarial examples from the perspective of model, which may cause low generalization ability when they are applied to other models. Second, they only use surface feature constraints to judge the difference between the adversarial example generated and the original example. The deep feature constraints, which contain high-level semantic information, such as image object category and scene semantics are completely neglected. To address these two problems, in this paper, we propose CAGFuzz, a Coverage-guided Adversarial Generative Fuzzing testing approach, which generates adversarial examples for a targeted DNN to discover its potential defects. First, we train an adversarial case generator (AEG) from the perspective of general data set. Second, we extract the depth features of the original and adversarial examples, and constrain the adversarial examples by cosine similarity to ensure that the semantic information of adversarial examples remains unchanged. Finally, we retrain effective adversarial examples to improve neuron testing coverage rate. Based on several popular data sets, we design a set of dedicated experiments to evaluate CAGFuzz. The experimental results show that CAGFuzz can improve the neuron coverage rate, detect hidden errors, and also improve the accuracy of the target DNN.

연구 동기 및 목표

• 기존의 모델에 특화된 적대적 예제 생성 기법의 일반화 부족 문제를 해결하기 위해.
• 얕은 픽셀 수준의 제약 조건에 한계가 있음을 극복하기 위해 고수준의 의미론적 깊이 있는 특징을 통합하기 위해.
• 개발 및 배포 단계에서 DNN의 뉴런 커버리지 향상과 숨겨진 결함 탐지하기 위해.
• 깊이 있는 특징 유사도를 통해 의미 일관성을 유지하면서도 천천히 눈에 띄지 않는 적대적 예제 생성하기 위해.
• 적대적으로 생성된 예제로 재학습하여 DNN의 강건성 향상시키기 위해.

제안 방법

• 특정 DNN 아키텍처에 의존하지 않고 일반 데이터셋에서 적대적 예제 생성기(AEG)를 훈련하기 위해.
• 원본 및 적대적 예제의 깊이 있는 특징 간 코사인 유사도를 사용하여 의미 일관성 제약을 설정하기 위해.
• 원본 입력에 작은 눈에 띄지 않는 변형을 적용하여 적대적 예제를 생성하기 위해.
• 뉴런 커버리지 값을 피드백으로 사용하여 반복적인 생성을 유도하고 커버리지 최대화하기 위해.
• 생성된 적대적 예제를 사용하여 대상 DNN를 재학습시켜 강건성 향상시키기 위해.
• 효과적인 변형 주입을 위해 데이터 도메인 간 매핑을 위한 도메인 적응 기법 활용하기 위해.

실험 결과

연구 질문

• RQ1 일반적인 데이터 기반 훈련을 통해 생성된 적대적 예제가 모델에 특화된 방법보다 더 나은 모델 간 일반화 성능을 보일 수 있는가?
• RQ2 예를 들어 코사인 유사도를 통해 깊이 있는 특징을 제약 조건으로 사용할 경우, 픽셀 수준의 제약 조건보다 의미를 더 잘 유지하는가?
• RQ3 깊이 있는 특징 제약 조건을 갖춘 커버리지 유도 적대적 퍼징이 DNN에서 더 많은 숨겨진 오류를 탐지할 수 있는가?
• RQ4 CAGFuzz로 생성된 예제로 재학습할 경우 DNN 정확도와 강건성 향상 정도는 어느 정도인가?
• RQ5 CAGFuzz는 DeepHunter 및 DeepTest와 같은 기존 방법들과 비교해 커버리지 및 오류 탐지 측면에서 어떻게 성능을 냈는가?

주요 결과

• CAGFuzz는 여러 표준 데이터셋에서 뉴런 커버리지가 크게 향상되어 DNN 활성화 공간의 효과적인 탐색을 보여주었다.
• 이러한 방법은 고도로 발전된 DNN 모델에서 이전에 탐지되지 않은 수천 가지의 오류 행동을 탐지하였다.
• CAGFuzz로 생성된 적대적 예제는 깊이 있는 특징 제약 조건을 통해 원본 입력과 높은 의미 유사성을 유지하고 있음을 검증하였다.
• CAGFuzz로 생성된 예제를 사용한 재학습은 DNN 정확도에 측정 가능한 향상을 가져왔다.
• 더 나은 일반화와 의미 유지 덕분에, 기존의 DeepHunter 및 DeepTest와 같은 방법들보다 커버리지 및 오류 탐지 측면에서 뛰어난 성능을 보였다.
• 깊이 있는 특징 제약 조건을 사용함으로써 픽셀 수준의 제약 조건 방법보다 더 깊은 네트워크 레이어에 대한 효과적인 테스팅이 가능해졌다.