[논문 리뷰] Symbolic Execution for Deep Neural Networks

Divya Gopinath, Kaiyuan Wang외 3명|arXiv (Cornell University)|2018. 07. 27.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 45

한 줄 요약

DeepCheck는 ReLU 기반 신경망을 명령형 코드로 변환하고 가벼운 심볼릭 실행을 사용하여 중요한 픽셀을 식별하며 MNIST에 대한 1픽셀 및 2픽셀 적대적 공격을 생성합니다.

ABSTRACT

Deep Neural Networks (DNN) are increasingly used in a variety of applications, many of them with substantial safety and security concerns. This paper introduces DeepCheck, a new approach for validating DNNs based on core ideas from program analysis, specifically from symbolic execution. The idea is to translate a DNN into an imperative program, thereby enabling program analysis to assist with DNN validation. A basic translation however creates programs that are very complex to analyze. DeepCheck introduces novel techniques for lightweight symbolic analysis of DNNs and applies them in the context of image classification to address two challenging problems in DNN analysis: 1) identification of important pixels (for attribution and adversarial generation); and 2) creation of 1-pixel and 2-pixel attacks. Experimental results using the MNIST data-set show that DeepCheck's lightweight symbolic analysis provides a valuable tool for DNN validation.

연구 동기 및 목표

• 안전-critical 응용 분야에서 심층 신경망의 안전성 및 보안 검증을 촉진한다.
• 불투명한 의사 결정 프로세스와 고차원 입력으로 인한 검증 도전 과제를 다룬다.
• DNN 분석을 위한 실용적인 심볼릭 실행 기반 프레임워크(DeepCheck)를 제안한다.
• 중요 픽셀 식별 및 최소한의 적대적 공격(1픽셀 및 2픽셀) 생성을 통한 귀속을 가능하게 한다.

제안 방법

• 피드포워드 ReLU 네트워크를 그 동작을 반영하는 명령형 프로그램으로 변환한다.
• 경로를 탐색하고 경로 조건을 축적하기 위해 심볼릭/콘콜릭 실행을 적용한다.
• 입력에 대한 경로 조건식 선형 표현을 계산하여 픽셀의 중요성을 식별한다.
• 세 가지 중요도 지표(abs, co, coi)를 사용하여 예측된 라벨에 대한 영향력으로 입력 픽셀을 순위화한다.
• 일부 픽셀을 제약하고 경로 조건을 SMT 솔버(Z3 등)로 해결하여 적대적 입력을 합성한다.
• MNIST에서 중요한 픽셀 귀속 및 1-/2-픽셀 공격을 시연하여 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 심볼릭 실행이 DNN의 결정을 설명하는 중요한 입력 픽셀을 식별할 수 있는가?
• RQ2 심볼릭 실행이 이미지에 대해 신뢰할 수 있는 1픽셀 및 2픽셀 적대적 공격을 발견할 수 있는가?
• RQ3 중요 픽셀은 공격 가능한 픽셀과 어떤 관계가 있으며 coi 기반의 우선순위화가 공격 발견을 개선할 수 있는가?

주요 결과

• 심볼릭 실행은 MNIST 이미지에서 분류기의 결정들을 설명하는 중요한 픽셀을 식별할 수 있다.
• 상위 중요한 픽셀들 중 공격 가능한 픽셀을 표적화하여 몇몇 숫자에 대해 1픽셀 공격이 발견된다.
• 상위 중요한 픽셀에 초점을 맞추고 2픽셀 공격은 발견되며 1픽셀 공격으로는 공격할 수 없는 픽셀을 포함할 수 있다.
• coi 지표는 종종 상위 5–10%의 픽셀 내에서 공격 가능한 픽셀을 포착하여 공격 발견을 효율적으로 가능하게 한다.
• 10개의 숫자 중 9에 대해 상위 4개의 중요한 픽셀 간의 조합을 확인하여 2픽셀 공격이 발견되며(최대 6쌍)