[논문 리뷰] Testing Deep Neural Networks

Youcheng Sun, Xiaowei Huang외 4명|arXiv (Cornell University)|2018. 03. 10.

Adversarial Robustness in Machine Learning참고 문헌 81인용 수 175

한 줄 요약

이 논문은 DNN을 위한 MC/DC에서 영감을 받은 네 가지 화이트박스 테스트 기준을 도입하고, 커버리지와 비용의 균형을 맞추며 adversarial한 동작을 밝혀내기 위해 concolic LP 및 gradient-based search를 통한 테스트 케이스 생성을 시연한다.

ABSTRACT

Deep neural networks (DNNs) have a wide range of applications, and software employing them must be thoroughly tested, especially in safety-critical domains. However, traditional software test coverage metrics cannot be applied directly to DNNs. In this paper, inspired by the MC/DC coverage criterion, we propose a family of four novel test criteria that are tailored to structural features of DNNs and their semantics. We validate the criteria by demonstrating that the generated test inputs guided via our proposed coverage criteria are able to capture undesired behaviours in a DNN. Test cases are generated using a symbolic approach and a gradient-based heuristic search. By comparing them with existing methods, we show that our criteria achieve a balance between their ability to find bugs (proxied using adversarial examples) and the computational cost of test case generation. Our experiments are conducted on state-of-the-art DNNs obtained using popular open source datasets, including MNIST, CIFAR-10 and ImageNet.

연구 동기 및 목표

• 안전-critical 도메인에서 DNN의 구조화된 테스트 필요성에 대한 동기를 부여한다.
• DNN의 구조 및 의미에 맞춘 네 가지 MC/DC-inspired 커버리지 기준을 개발한다.
• 제안된 커버리지 기준에 따라 테스트 케이스 생성을 안내하는 화이트박스 프레임워크를 제공한다.
• MNIST, CIFAR-10, ImageNet에서 기준을 평가하여 버그 발견과 테스트 효율성 연구를 수행한다.
• 생성된 adversarial 예제를 통해 DNN 내부 구조와 강건성 분석이 가능하도록 한다.

제안 방법

• 레이어, 활성화 및 특징 집합으로 DNN 형식을 정의한다.
• 네 가지 커버리지 기준을 소개한다: SS(Sign-Sign), VS(Value-Sign), SV(Sign-Value), VV(Value-Value).
• 인접한 계층의 뉴런 부분집합으로 특징들을 모델링하고 조건/결정을 특징 쌍으로 정의한다.
• 값 함수 g를 사용하여 특징 값의 중요한 변화량을 정량화한다.
• 조건 제약을 만족시키는 테스트 케이스를 생성하기 위해 concolic 테스트(LP 기반)를 적용한다.
• 대규모 DNN에 확장하기 위한 gradient-descent 기반 테스트 케이스 생성기를 개발한다.

실험 결과

연구 질문

• RQ1 MC/DC에서 영감을 받은 커버리지 기준이 DNN에서 인과 관계를 포착하고 효과적인 테스트 케이스 생성을 안내할 수 있는가?
• RQ2 SS, VS, SV, VV 기준이 adversarial 예를 발견하고 계산 비용의 균형을 어떻게 비교하는가?
• RQ3 제안된 기준이 큰 네트워크와 데이터셋(MNIST, CIFAR-10, ImageNet)으로 확장 가능한가?
• RQ4 새로운 기준이 기존의 뉴런 기반 및 안전 커버리지 기준과 어떻게 연관되며 개선되는가?

주요 결과

• 네 가지 기준은 MC/DC 개념을 DNN에 확장하고 계층 간 인과 상호 작용을 포착한다.
• SS 커버리지는 결정 특징에 영향을 주는 조건 특징의 부호 변화가 독립적으로 작용한다.
• VS, SV, VV는 값과 부호 변화의 다양한 조합을 다루어 비선형 DNN 동작을 포착한다.
• Concolic LP 기반 테스트 생성을 통해 중소 규모의 DNN에서 효율적인 테스트 케이스를 산출하고, 그라디언트 기반 방법은 대규모 DNN으로 확장된다.
• MNIST, CIFAR-10, ImageNet 실험은 기준이 버그 탐지(적대적 예)와 DNN의 안전성 및 내부 구조에 대한 통찰을 제공할 수 있음을 보여준다.
• 제안된 기준은 이전의 뉴런 기반 기준보다 더 강한 커버리지를 부과하여 계산 비용이 더 높은 더 풍부한 테스트를 제공한다.