[논문 리뷰] Improving Neural Network Verification through Spurious Region Guided Refinement

Pengfei Yang, Renjue Li외 6명|arXiv (Cornell University)|2020. 10. 15.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 딥폴리(DeepPoly)의 정밀도를 향상시키기 위해 허위 영역 유도 개선 방법을 제안한다. 딥폴리는 인상적인 추상 해석 기반 신경망 검증 기법이지만, 진짜 반례가 포함되어 있지 않은 과도하게 근사된 영역을 포함할 수 있다. 선형 프로그래밍을 활용해 ReLU 뉴런의 경계를 강화함으로써, 이 방법은 반복적으로 허위 영역을 제거하며 검증 정밀도를 크게 향상시키고, 엄밀한 보장을 제공하는 정량적 내구성 검증을 가능하게 한다.

ABSTRACT

We propose a spurious region guided refinement approach for robustness verification of deep neural networks. Our method starts with applying the DeepPoly abstract domain to analyze the network. If the robustness property cannot be verified, the result is inconclusive. Due to the over-approximation, the computed region in the abstraction may be spurious in the sense that it does not contain any true counterexample. Our goal is to identify such spurious regions and use them to guide the abstraction refinement. The core idea is to make use of the obtained constraints of the abstraction to infer new bounds for the neurons. This is achieved by linear programming techniques. With the new bounds, we iteratively apply DeepPoly, aiming to eliminate spurious regions. We have implemented our approach in a prototypical tool DeepSRGR. Experimental results show that a large amount of regions can be identified as spurious, and as a result, the precision of DeepPoly can be significantly improved. As a side contribution, we show that our approach can be applied to verify quantitative robustness properties.

연구 동기 및 목표

• 추상 해석 기반 DNN 검증에서의 정밀도 부족 문제, 특히 과도한 근사로 인해 DeepPoly가 내구성 검증에 실패할 때를 해결하기 위해.
• 진짜 반례가 포함되어 있지 않은, 추상화 과도 근사인 허위 영역을 식별하고 제거함으로써 검증 정밀도를 향상시키기 위해.
• 실제 반례를 생성하기가 어려운 이 설정에서, 허위 영역의 제약 조건에 기반한 개선 전략을 개발하기 위해.
• 정량적 내구성 검증에 이를 확장하여 엄밀한 신뢰도 보장을 제공하는 데 목적이 있다. 이는 샘플링 기반 방법을 뛰어넘는다.

제안 방법

• 입력 변형 하에서 네트워크 출력의 초기 과도 근사값을 계산하기 위해 DeepPoly를 적용한다.
• 딥폴리 추상화와 내구성 성질의 부정을 교차시켜 허위 영역을 식별한다.
• 허위 영역의 제약 조건을 바탕으로 선형 프로그래밍을 수행하여 활성 상태가 불확실한 ReLU 뉴런의 경계를 강화한다.
• 강화된 경계를 사용해 DeepPoly를 재실행함으로써 추상화를 반복적으로 개선하며, 허위 영역를 제거하고자 한다.
• 모든 허위 영역가 제거되거나 최대 반복 횟수에 도달할 때까지 개선 과정을 반복한다.
• 주어진 오차 허용 범위 내에서 내구성 성질을 위반하는 입력 집합을 과도 근사함으로써, 동일한 프레임워크를 정량적 내구성 검증에 적용한다.

실험 결과

연구 질문

• RQ1 딥폴리 추상화 내의 허위 영역를 효과적으로 식별하고, 이를 개선 유도에 활용함으로써 검증 정밀도를 향상시킬 수 있는가?
• RQ2 허위 영역 제약 조건에 대해 선형 프로그래밍을 적용할 때, ReLU 뉴런 경계를 얼마나 잘 강화하고 과도 근사를 줄일 수 있는가?
• RQ3 반복적인 개선 과정이 허위 영역를 제거하고 국소 내구성 성질에 대해 엄밀한 검증을 가능하게 하는가?
• RQ4 이 방법이 정량적 내구성 검증에 얼마나 잘 확장될 수 있으며, 엄밀한 신뢰도 보장을 제공할 수 있는가?
• RQ5 검증 커버리지와 런타임 측면에서, 개선된 방법이 DeepPoly에 비해 성능가 얼마나 뛰어나게 되는가?

주요 결과

• FNN7에서 DeepSRGR는 50개 입력 중 36개를 검증했고, DeepPoly는 25개에 그쳤다. 이는 검증 커버리지 향상이 뚜렷하게 나타남을 의미한다.
• FNN7에서 DeepSRGR의 평균 런타임은 8,960초였으며, 이는 개선 과정에서 선형 프로그래밍의 계산 비용으로 인해 DeepPoly보다 높았다.
• 최대 반복 횟수를 5에서 50으로 늘였을 때, 총 15개의 성질 중 단 두 개만 더 검증되었고, 이는 초기에 관련 허위 영역를 효과적으로 식별함을 시사한다.
• 50회 반복 내에 제거되지 않은 13개의 허위 영역 중 평균적으로 재활성화된 ReLU 행동 수는 8.54개에 불과했으며, 이는 개선 잠재력이 제한적임을 나타낸다.
• 정량적 내구성 검증에서, DeepSRGR의 1−η 신뢰도 과도 근사는 DeepPoly의 10분의 1 미만이었고, 이는 75% 이상의 경우에서 정밀도 향상을 보였다.
• 32회 반복 내에 13개의 새로운 허위 영역를 성공적으로 검증했으며, ReLU 행동 변화의 47.4%가 마지막 반복에서 발생했고, 수렴 근처에서 높은 개선 민감도를 보였다.