[논문 리뷰] Correctness Verification of Neural Networks

Yichen Yang, Martin Rinard|arXiv (Cornell University)|2019. 06. 03.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 9

한 줄 요약

이 논문은 세계 상태 공간과 상태를 입력으로 매핑하는 관측 과정을 정의하여 인식 작업에서 신경망의 정확성을 전역적으로 검증하는 새로운 프레임워크를 소개한다. 타일링과 강건성 검증 기법을 사용하여 전체 목표 입력 공간에서 예측 오차의 상한을 계산하고, 의도한 도메인 외부의 입력을 탐지함으로써 정확성 보장을 보장하거나 위험한 입력을 경고한다.

ABSTRACT

We present a novel framework for specifying and verifying correctness globally for neural networks on perception tasks. Most previous works on neural network verification for perception tasks focus on robustness verification. Unlike robustness verification, which aims to verify that the prediction of a network is stable in some local regions around labelled points, our framework provides a way to specify correctness globally in the whole target input space and verify that the network is correct for all target inputs (or find the regions where the network is not correct). We provide a specification through 1) a state space consisting of all relevant states of the world and 2) an observation process that produces neural network inputs from the states of the world. Tiling the state and input spaces with a finite number of tiles, obtaining ground truth bounds from the state tiles and network output bounds from the input tiles, then comparing the ground truth and network output bounds delivers an upper bound on the network output error for any inputs of interest. The presented framework also enables detecting illegal inputs -- inputs that are not contained in (or close to) the target input space as defined by the state space and observation process (the neural network is not designed to work on them), so that we can flag when we don't have guarantees. Results from two case studies highlight the ability of our technique to verify error bounds over the whole target input space and show how the error bounds vary over the state and input spaces.

연구 동기 및 목표

• 전체 목표 입력 공간에서 국소적 강건성 외에 체계적인 방법이 부족한 신경망 정확성 검증 문제를 해결하기 위해.
• 정의된 입력 공간 내 모든 입력에 대해 지정된 허용 오차 내에서 예측이 정확한 공식적 정확성 보장을 제공하기 위해.
• 의도한 입력 공간 외부에 속하는 입력을 탐지하여, 이들이 잠재적으로 위험하거나 지원되지 않는 것으로 경고하기 위해.
• 다양한 입력 영역에서 신경망 행동을 체계적으로 검증하고, 특히 예측이 실패할 수 있는 취약 영역을 식별하기 위해.

제안 방법

• 모든 관련 세계 상태를 나타내는 상태 공간과 상태를 신경망 입력으로 매핑하는 관측 과정을 정의하여 목표 입력 공간을 구성한다.
• 상태 공간을 유한한 영역으로 타일링하여, 각 타일이 경계가 있는 진짜 출력을 갖는 세계 상태 집합을 나타내도록 한다.
• 각 상태 타일을 관측 과정을 통해 입력 공간으로 투영하여, 각각이 가능한 입력의 경계 상자(박스)를 갖는 입력 타일을 형성한다.
• 강건성 검증 기법을 사용하여 각 입력 타일에 대해 신경망 출력의 상한과 하한을 계산한다.
• 상태 타일에서 유도된 진짜 출력 경계와 입력 타일에서 유도된 네트워크 출력 경계를 비교하여, 각 타일에 대한 예측 오차 상한을 유도한다.
• 목표 입력 공간 외부의 입력은 불법으로 표시하여, 여기에는 정확성 보장이 적용되지 않음을 명시한다.

실험 결과

연구 질문

• RQ1 지정된 허용 오차 내에서 전체 목표 입력 공간에서 신경망이 정확한 예측을 하는지 공식적으로 검증할 수 있는가? (국소적 검증 외에).
• RQ2 의도한 도메인 외부에 위치한 입력을 체계적으로 탐지하여, 여기서 정확성 보장이 성립하지 않는다는 것을 어떻게 확인할 수 있는가?
• RQ3 입력 공간 타일링 해상도와 검증 알고리즘 선택이 검증 성능과 정확성에 어떤 영향을 미치는가?
• RQ4 이 프레임워크는 네트워크가 잘못 예측할 수 있는 입력 공간의 영역을 어떻게 식별하는가?

주요 결과

• 프레임워크는 대부분의 목표 입력 공간에서 오차가 낮게 유지됨을 성공적으로 검증하였으며, 모든 검증된 영역에서 최대 오차가 경계되어 있음을 확인하였다.
• LiDAR 사례 연구에서 SAT 기반 검증을 사용한 적응형 타일링은 고정 타일링 대비 5배 빠른 98.3% 영역 검증 성능을 달성하였다.
• SAT 기반 BNN 검증은 MILP 기반 실수값 네트워크 검증보다 200~500배 더 빠르며, 성능 향상이 뚜렷하게 나타났다.
• 작은 타일 크기로 인해 경계 상자 내 여유 공간이 최소화되어 불법 입력 탐지에서의 거짓 양성률이 감소하였다.
• 프레임워크는 정확히 유사한 시각적 특성을 가진 입력이 잘못 분류되는 경우를 식별하여 특정 입력 영역에서 네트워크의 취약성을 드러냈다.
• 이 방법은 목표 입력 공간에 포함되지 않은 입력을 탐지할 수 있으며, 이로 인해 런타임에서 잠재적으로 위험한 예측을 경고할 수 있다.