[논문 리뷰] Neuro-Symbolic Verification of Deep Neural Networks

Xuan Xie, Kristian Kersting외 1명|arXiv (Cornell University)|2022. 03. 02.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 신경망을 의미적 구성 요소로 포함하는 논리적 명세 내에서 복잡한 실제 세계의 성질—예를 들어 '정지 신호를 감지하면 정지하라'—를 표현할 수 있도록 하는 신경기호 검증(neuro-symbolic verification)이라는 새로운 프레임워크를 제안한다. 기존의 검증 인프라 위에 구축된 이 접근법은 다양한 성질의 검증을 가능하게 하며, 데이터 분포를 고려한 의미 있는 반례(counterexamples)를 생성하여 기존 방법에 비해 디버깅 가능성을 크게 향상시킨다.

ABSTRACT

Formal verification has emerged as a powerful approach to ensure the safety and reliability of deep neural networks. However, current verification tools are limited to only a handful of properties that can be expressed as first-order constraints over the inputs and output of a network. While adversarial robustness and fairness fall under this category, many real-world properties (e.g., "an autonomous vehicle has to stop in front of a stop sign") remain outside the scope of existing verification technology. To mitigate this severe practical restriction, we introduce a novel framework for verifying neural networks, named neuro-symbolic verification. The key idea is to use neural networks as part of the otherwise logical specification, enabling the verification of a wide variety of complex, real-world properties, including the one above. Moreover, we demonstrate how neuro-symbolic verification can be implemented on top of existing verification infrastructure for neural networks, making our framework easily accessible to researchers and practitioners alike.

연구 동기 및 목표

• 깊이 신경망의 현재 형식적 검증 방법이 입력과 출력에 대한 단순한 일阶 논리 제약 조건만 검증할 수 있다는 한계를 해결하기 위해.
• 표준 제약 조건으로 표현할 수 없지만 의미적으로 풍부한 성질—예를 들어 교통 표지에 대한 자율 주행 차량의 반응—과 같은 실제 세계의 복잡한 성질을 검증할 수 있도록 하기 위해.
• 깊이 신경망을 논리적 명세 내의 의미적 구성 요소로 통합하여, 인식, 인식 및 추론을 포함한 성질의 검증을 가능하게 하기 위해.
• 기존의 검증 프레임워크 위에 신경기호 검증을 구현할 수 있음을 보여주어 실용적인 접근성을 확보하기 위해.
• 입력을 데이터 분포로 제약하여 더 정보가 풍부하고 의미 있는 반례를 생성함으로써 디버깅 및 시스템 개발을 향상시키기 위해.

제안 방법

• 복잡한 성질을 표현하기 위해 논리적 진술과 깊이 신경망을 '명세 네트워크(specification networks)'로 통합한 새로운 명세 언어인 신경기호 진술 언어(Neuro-Symbolic Assertion Language, NeSAL)를 제안한다.
• GTSRB나 MNIST에서 훈련된 사전 학습된 네트워크를 사용해 '정지 신호 감지됨' 또는 '높은 신뢰도 예측'과 같은 고수준 의미적 개념을 표현한다.
• 명세 네트워크의 출력과 검증 대상 주요 네트워크의 출력 간 제약 조건으로 표현하여 이러한 신경기호 명세를 형식적 검증에 통합한다.
• 기존의 신경망 검증 인프라를 재사용하여 Marabou 프레임워크 위에 프로토타입 검증기( verifier )를 구축한다.
• 반례 탐색을 데이터 분포로 제약하기 위해 오토에인코더(autoencoder)를 활용하여 생성된 반례가 현실적이며 의미 있는지 보장한다.
• 다중 네트워크를 포함한 조건부 논리—예: '감지 네트워크가 정지 신호를 출력하면 제어 네트워크는 브레이크해야 한다.'—의 검증을 지원한다.

실험 결과

연구 질문

• RQ1 입력과 출력에 대한 단순한 일阶 제약 조건으로 표현할 수 없는, 실제 세계의 복잡한 성질로 깊이 신경망의 형식적 검증을 확장할 수 있는가?
• RQ2 깊이 신경망을 논리적 명세 내의 의미적 구성 요소로 사용하여 고수준의 시스템 행동을 검증할 수 있는가?
• RQ3 신경기호 검증은 기존 검증 방법에 비해 더 의미 있고 실행 가능한 반례를 생성할 수 있는가?
• RQ4 기존 검증 인프라 위에 신경기호 검증을 구현하는 것은 주요 재구현 없이도 가능할까?
• RQ5 신경기호 검증은 MNIST 및 GTSRB와 같은 실제 세계 벤치마크에서 어떻게 스케일링되며, 위반 사항 탐지에 있어 효과적인가?

주요 결과

• 신경기호 검증(NSV) 프로토타입은 GTSRB 데이터셋의 14개 벤치마크를 모두 성공적으로 검증하였으며, 성질 $P_1$ 는 만족됨을 입증하고 $P_2$ 및 $P_3$ 에 대해서는 반례를 발견하였다.
• MNIST 데이터셋에서는 오직 하나의 벤치마크($P_1$)에서 타임아웃이 발생했고, 나머지 모든 경우에서 반례를 발견하여, 훈련 시간에 성질을 강제하지 않음에도 불구하고 강력한 커버리지가 있음을 보여주었다.
• NSV가 생성한 반례는 의미적으로 타당하고 현실적인 것으로, 오토에인코더 제약을 통해 데이터 분포에서 유래되었으며, 기존의 검증 방법에서 흔히 발생하는 무작위 노이즈와는 다르게 의미 있는 반례를 제공하였다.
• Figure 2에서 보듯이 NSV의 반례는 시각적으로 직관적이며 실제 데이터에 가까웠으며, 표준 검증 도구에 비해 훨씬 뛰어난 디버깅 가능성을 보였다.
• NSV는 Marabou 검증 프레임워크 위에 구축되어 있어 기존 도구와 인프라를 재사용할 수 있어 확장성과 실용성이 뛰어나다.
• 결과적으로 신경기호 검증이 자율 주행 차량과 같은 안전이 중요한 시스템에서 인식 기반의 복잡한 성질을 효과적으로 검증할 수 있음을 확인하였다.