[논문 리뷰] Safety Verification of Deep Neural Networks

Xiaowei Huang, Marta Kwiatkowska외 2명|arXiv (Cornell University)|2016. 10. 21.

Adversarial Robustness in Machine Learning인용 수 14

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 SMT 기반 검증 프레임워크를 제시하며, 입력 이웃 영역을 체계적으로 탐색하여 최소한의 변형으로 오분류를 유도하는 적대적 예제를 철저히 탐지함으로써 이미지 분류에서의 안전성을 보장한다. 이 방법은 정의된 입력 영역 내에서 적대적 예제를 보장하여 발견하며, 히우리스틱 검색 방법보다 더 포괄적인 형식적 검증을 제공함으로써 정의된 변형 공간에서 완전성 보장을 한다.

ABSTRACT

Deep neural networks have achieved impressive experimental results in image classification, but can surprisingly be unstable with respect to adversarial perturbations, that is, minimal changes to the input image that cause the network to misclassify it. With potential applications including perception modules and end-to-end controllers for self-driving cars, this raises concerns about their safety. We develop a novel automated verification framework for feed-forward multi-layer neural networks based on Satisfiability Modulo Theory (SMT). We focus on safety of image classification decisions with respect to image manipulations, such as scratches or changes to camera angle or lighting conditions that would result in the same class being assigned by a human, and define safety for an individual decision in terms of invariance of the classification within a small neighbourhood of the original image. We enable exhaustive search of the region by employing discretisation, and propagate the analysis layer by layer. Our method works directly with the network code and, in contrast to existing methods, can guarantee that adversarial examples, if they exist, are found for the given region and family of manipulations. If found, adversarial examples can be shown to human testers and/or used to fine-tune the network. We implement the techniques using Z3 and evaluate them on state-of-the-art networks, including regularised and deep learning networks. We also compare against existing techniques to search for adversarial examples and estimate network robustness.

연구 동기 및 목표

• 자율 주행과 같이 작은 입력 변형이 오분류를 유도할 수 있는 임상적 응용 분야에서 사용되는 깊이 신경망의 안전성 문제를 해결하기 위해.
• 히우리스틱 검색에 의존하지 않고, 정의된 입력 이웃 영역 내에서 적대적 예제를 보장하여 탐지할 수 있는 형식적 검증 방법을 개발하기 위해.
• 조명, 각도, 노이즈 변화 등의 변형을 체계적이고 철저하게 탐색하면서 인간이 인식하는 분류 일관성을 유지하기 위해.
• 학습 데이터에 접근할 필요 없이 깊이 신경망의 강건성에 대한 형식적이고 완전성 보존 방법을 제공하기 위해.
• 최신 기술의 네트워크, 특히 정규화 및 깊은 아키텍처에 대해 확장성과 효과성을 입증하기 위해.

제안 방법

• 프레임워크는 입력 변형에 대한 피드포워드 다층 신경망의 행동을 모델링하고 검증하기 위해 만족 가능성 모듈러 이론(Satisfiability Modulo Theory, SMT)을 사용한다.
• 안전성은 주어진 입력 이미지 주변의 작은 이웃 영역 내에서 네트워크 출력 클래스의 불변성으로 정의되며, 사용자가 정의한 노름과 각 입력 차원의 영역 직경을 사용한다.
• 이 방법은 네트워크를 관통해 제약 조건을 계층적으로 전파하며, 간격 산술과 SMT 해법을 사용해 활성화 범위의 과소추정을 유지한다.
• 완전한 단계 트리 구조의 입력 변형을 탐색하기 위한 비결정적이고 반복적인 조작 전략을 사용하여 정의된 영역 내 모든 가능한 변형을 커버한다.
• 각 입력 차원의 부분집합에 대해 서로 다른 노름과 직경을 사용해 선택적 변형을 지원함으로써 현실적인 이미지 왜곡을 민첩하게 모델링할 수 있다.
• 구현은 네트워크의 계산 그래프를 기반으로 기호적 추론을 수행하기 위해 Z3 SMT 솔버를 사용하여 적대적 예제 존재 여부의 형식적 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 형식적 검증 방법은 깊이 신경망의 정의된 입력 이웃 영역 내에서 적대적 예제를 보장하여 탐지할 수 있는가?
• RQ2 조명 변화나 각도 변화와 같은 현실적인 이미지 조작 조건 하에서 이미지 분류 결정에 대해 안전성을 어떻게 형식적으로 정의할 수 있는가?
• RQ3 SMT 기반 기법은 히우리스틱 최적화 기반 접근 방식과 달리 적대적 예제 탐지에 대해 완전성 보장을 제공할 수 있는가?
• RQ4 이 방법은 실세계 응용에서 사용되는 실용적이고 대규모의 깊이 신경망에 얼마나 스케일링 가능한가?
• RQ5 기존의 적대적 예제 탐색 기법과 비교해 본다면, 제안된 방법은 효과성과 완전성 측면에서 얼마나 뛰어나게 작용하는가?

주요 결과

• 이 방법은 실제 이미지 데이터셋에서 최신 기술의 깊이 신경망, 특히 정규화 및 깊은 아키텍처에 대해 안전성을 성공적으로 검증하였다.
• 저차원 입력 영역에서는 몇 초 내로 적대적 예제를 탐지하여 이론적 접근이 관리 가능한 입력 공간에서 실현 가능함을 입증하였다.
• 이 프레임워크는 완전성 보장을 한다: 정의된 입력 영역 내에 적대적 예제가 존재한다면 반드시 발견된다. 이는 히우리스틱 방법이 그러한 예제를 놓칠 수 있다는 점과 대비된다.
• 이 방법은 계산 비용이 높은 고차원 입력에 대해서도 기존의 최적화 기반 방법보다 검증의 완전성과 형식적 보장 측면에서 뛰어나다.
• 이 방법은 모델 디버깅 및 정밀 조정을 위한 인간이 이해할 수 있는 적대적 예제 생성을 가능하게 하여 모델의 강건성을 향상시킨다.
• 성능는 입력 특성의 수에 따라 지수적 복잡도로 제한되지만, 병렬 처리 및 추상화 정밀 조정을 통한 향상 가능성이 확인되었다.