[논문 리뷰] A Certified Proof Checker for Deep Neural Network Verification in Imandra

Remi Desmartin, Omri Isac외 4명|arXiv (Cornell University)|2024. 05. 17.

Adversarial Robustness in Machine Learning인용 수 1

한 줄 요약

이 논문은 Imandra 인터랙티브 정리증명기 내에서 Marabou의 DNN 검증 인증서에 대한 형식적으로 검증된, 신뢰할 수 있는 증명 검증기의 구현을 제시한다. 저자들은 Imandra의 기능적 언어로 검증기를 구현하고, 그들의 형식적 검증 기능과 임의 정밀도 산술을 활용함으로써, 부동소수점 오차 없이 정확성을 보장하는 완전히 검증된 신뢰할 수 있는 인증서 검증기를 달성하였다. 이는 안전 기반 시스템에서 DNN 검증에 대해 더 강력한 신뢰도를 제공한다.

ABSTRACT

Recent advances in the verification of deep neural networks (DNNs) have opened the way for a broader usage of DNN verification technology in many application areas, including safety-critical ones. However, DNN verifiers are themselves complex programs that have been shown to be susceptible to errors and numerical imprecision; this, in turn, has raised the question of trust in DNN verifiers. One prominent attempt to address this issue is enhancing DNN verifiers with the capability of producing certificates of their results that are subject to independent algorithmic checking. While formulations of Marabou certificate checking already exist on top of the state-of-the-art DNN verifier Marabou, they are implemented in C++, and that code itself raises the question of trust (e.g., in the precision of floating point calculations or guarantees for implementation soundness). Here, we present an alternative implementation of the Marabou certificate checking in Imandra - an industrial functional programming language and an interactive theorem prover (ITP) - that allows us to obtain full proof of certificate correctness. The significance of the result is two-fold. Firstly, it gives stronger independent guarantees for Marabou proofs. Secondly, it opens the way for the wider adoption of DNN verifiers in interactive theorem proving in the same way as many ITPs already incorporate SMT solvers.

연구 동기 및 목표

• DNN 검증기의 신뢰 문제를 해결하기 위해, 구현 버그와 수치적 부정확성에 취약한 DNN 검증기의 문제를 해결한다.
• Marabou의 UNSAT 인증서를 위한 형식적으로 검증된, 독립적으로 검증 가능한 증명 검증기를 제공하여 검증 결과의 정확성을 보장한다.
• 검증되지 않은 C++ 기반 인증서 검증기 의존을 제거하기 위해, 검증된 기능적 프로그래밍 언어로 인증 검증기를 구현한다.
• 강력한 신뢰 보장을 제공하는 인터랙티브 정리증명 환경에 DNN 검증을 통합할 수 있도록 한다.
• 신뢰할 수 있는 DNN 검증 워크플로우의 타당성을 보장함으로써, 증명을 동반하는 신경-기호 시스템의 기초를 마련한다.

제안 방법

• 정확성 검증이 보장되는 인터랙티브 정리증명기인 Imandra에서 기능적 프로그래밍 언어를 사용해 인증서 검증기를 구현함으로써, 검증기의 정확성을 형식적으로 보장한다.
• Imandra의 타입 체계 내에서 Marabou의 증명 트리와 Farkas 벡터를 데이터 구조로 표현하여 DNN 검증 증명을 표현한다.
• Imandra의 임의 정밀도 실수 산술을 사용하여 증명 검증 중 부동소수점 오차를 방지한다.
• 효율적인 자동화와 검증을 지원하기 위해 다항식 형태의 Farkas 보조정리를 형식화하고 증명한다.
• 증명 트리를 순회하고 형식화된 Farkas 보조정리를 사용해 Farkas 벡터를 검증함으로써, Marabou 인증서로부터 전체 정확성 증명을 재구성한다.
• Imandra의 증명 자동화 및 전략 기반 상호작용을 활용하여 성능과 검증 철학의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 인터랙티브 정리증명기 내에서 DNN 검증기의 인증서 검증기가 형식적으로 검증될 수 있는가? 이를 통해 구현에 대한 신뢰를 제거할 수 있는가?
• RQ2 신뢰할 수 있는 형식적으로 검증된 검증기를 사용해 Marabou의 UNSAT 인증서의 타당성을 어떻게 인증할 수 있는가?
• RQ3 기존의 C++ 기반 검증기와 비교해, 검증된 고수준 언어인 Imandra를 사용할 경우 정확성과 정밀도 측면에서 어떤 이점이 있는가?
• RQ4 DNN 검증기가 ITP(인터랙티브 정리증명) 환경에 통합될 경우, AI 안전성 검증의 신뢰성은 어느 정도 향상될 수 있는가?
• RQ5 다항식 형태로 형식화된 Farkas 보조정리는 Imandra에서 효율적이고 자동화된 증명 재구성에 기여할 수 있는가?

주요 결과

• 저자들은 Imandra 내에서 Marabou의 UNSAT 인증서를 위한 형식적으로 검증된 증명 검증기를 성공적으로 구현하여, 완전한 증명 동반 코드 보장을 달성하였다.
• 검증기는 Imandra의 기능적 언어로 구현되었으며, 동일한 언어로 정확성이 입증되어 외부 코드에 대한 신뢰를 제거하였다.
• 임의 정밀도 산술을 사용함으로써, 기존 DNN 검증기와 그들의 검증기에서 발생하는 부동소수점 오차를 피할 수 있었다.
• 다항식 형태로 형식화된 Farkas 보조정리는 Imandra에서 효율적인 증명 자동화와 검증을 가능하게 하였다.
• 이 방법은 DNN 검증을 인터랙티브 정리증명 워크플로우에 통합할 수 있도록 하여, 증명 동반 신경-기호 시스템의 길을 열었다.
• 평가 결과, 무한 정밀도 산술과 검증 중심의 데이터 구조로 인해 신뢰성과 확장성 사이의 상충 관계가 나타났다.