[논문 리뷰] Concolic Testing for Deep Neural Networks

Youcheng Sun, Min Wu외 4명|arXiv (Cornell University)|2018. 04. 30.

Adversarial Robustness in Machine Learning인용 수 33

한 줄 요약

이 논문은 딥 네ural 네트워크(DNNs)를 위한 최초의 컨콜릭 테스팅 프레임워크를 제시한다. 이 방법은 구체적 실행과 기호 분석을 결합하여 구조적 및 강건성 성질의 최대 커버리지에 도달하는 테스트 입력을 체계적으로 생성한다. 이 방법은 뉴런 활성화, 리프시츠 연속성, 그리고 적대적 예외에 대한 높은 커버리지 성과를 달성하여, 최소한의 변형을 가진 적대적 입력을 발견하는 데 있어 랜덤 테스팅보다 뛰어난 성능을 보였다.

ABSTRACT

Concolic testing combines program execution and symbolic analysis to explore the execution paths of a software program. This paper presents the first concolic testing approach for Deep Neural Networks (DNNs). More specifically, we formalise coverage criteria for DNNs that have been studied in the literature, and then develop a coherent method for performing concolic testing to increase test coverage. Our experimental results show the effectiveness of the concolic testing approach in both achieving high coverage and finding adversarial examples.

연구 동기 및 목표

• 안전성 및 보안이 중요한 응용 분야에서 딥 네ural 네트워크(DNNs)에 대한 체계적인 테스팅 방법의 부족을 해결하기 위해.
• 고차원 DNN 입력 공간을 탐색하는 데 있어 랜덤 테스팅과 기호 실행만으로는 한계가 있음을 극복하기 위해.
• 구체적 실행과 기호 분석을 통합하여, 아직 달성되지 않은 커버리지 기준으로 향하는 테스트 생성을 유도하는 컨콜릭 테스팅 접근법을 개발하기 위해.
• 뉴런 커버리지, 리프시츠 연속성, 적대적 예외 탐지 등 다양한 커버리지 기준에서 방법을 평가하기 위해.
• 최소한의 변형을 가진 적대적 예외를 발견하고 높은 커버리지 수준을 달성하는 데 있어 컨콜릭 테스팅의 효과성을 입증하기 위해.

제안 방법

• 커버리지 요구사항의 파rameterized 세트를 유리수 위에서의 양화된 선형 산술(QLAR)로 표현한다.
• 주어진 커버리지 요구사항을 충족시키는 데 가까운 테스트 입력을 식별하기 위해 구체적 실행을 수행하고, 이를 기반으로 기호 분석을 통해 요구사항을 충족시키는 새로운 입력을 생성한다.
• 충족되지 않은 요구사항 각각에 대해, 현재 테스트 세트에서 그 요구사항을 가장 가까이 충족시키는 테스트 입력을 선택한 후, 기호 실행을 통해 이를 충족시키는 입력으로 정밀 조정한다.
• 목표 커버리지 임계값에 도달할 때까지 이 과정을 반복하며, 테스트 입력을 점진적으로 테스트 세트에 추가한다.
• 작은 입력 변형이 분류 출력을 변경시키는지 확인하여 적대적 예외를 탐지하기 위해 강건성 오라클을 적용한다.
• 프레임워크는 DeepConcolic 도구로 구현되었으며, L∞, L0, L1, L2 등 다양한 거리 척도를 지원하여 적대적 예외 탐지에 활용된다.

실험 결과

연구 질문

• RQ1 컨콜릭 테스팅이 딥 네ural 네트워크에 효과적으로 적용되어 테스트 커버리지를 향상시킬 수 있는가?
• RQ2 최소한의 변형을 가진 적대적 예외를 발견하는 데 있어 컨콜릭 테스팅은 랜덤 테스트 생성에 비해 어떻게 비교되는가?
• RQ3 리프시츠 연속성과 뉴런 활성화 패턴을 포함한 다양한 커버리지 기준에서 컨콜릭 테스팅이 얼마나 높은 커버리지 수준을 달성할 수 있는가?
• RQ4 L∞ 및 L0와 같은 다양한 거리 척도에 대해 강건한 적대적 예외를 탐지할 수 있는가?
• RQ5 컨콜릭 테스팅은 다수의 구조적 및 강건성 성질을 고려한 DNN 테스팅에 대해 확장 가능하고 통합된 접근법을 제공하는가?

주요 결과

• DeepConcolic는 뉴런 커버리지(NC)를 포함한 여러 기준에서 높은 커버리지 성과를 달성하여, MNIST에서는 99.9%, CIFAR-10에서는 99.8%의 커버리지 수준을 기록했다.
• 최소한의 변형을 가진 적대적 예외를 발견하였다: L∞ 노름 기준으로 1/255 ≈ 0.0039, L0 노름 기준으로 1 픽셀로, 적대적 예외 탐지의 높은 정밀도를 입증했다.
• 리프시츠 상수 테스팅에서 컨콜릭 테스팅은 [0.01, 10.38]의 범위를 커버하였고, 이는 랜덤 테스팅이 최대 3.23에 머물렀고 주로 [0.01, 2]에 집중된 것과 비교해 뚜렷한 우월성을 보였다.
• 평균적으로 컨콜릭 테스팅은 평균 L∞ 거리 0.0039로 적대적 예외를 발견하여, 최소한의 변형 공격을 정확히 탐지할 수 있는 능력을 입증했다.
• 다양한 거리 척도에 따라 발견된 적대적 예외의 수가 상당히 달라졌으며, 이는 커버리지 기준에 다수의 척도를 사용하는 것이 중요하다는 점을 강조한다.
• MNIST 및 CIFAR-10 모델 모두에 대해 강건성 검사를 통해 높은 탐지 효율성을 확인하여, 적대적 예외 탐지에서 뛰어난 성능을 보였다.