[논문 리뷰] DNN Verification, Reachability, and the Exponential Function Problem

Omri Isac, Yoni Zohar외 2명|arXiv (Cornell University)|2023. 01. 01.

Adversarial Robustness in Machine Learning인용 수 3

한 줄 요약

이 논문은 Sigmoid 및 tanh와 같은 부드럽고 조각별로 부드러운 활성화 함수를 갖는 딥 네ural 워크(Deep Neural Networks, DNNs)의 검증이 모형 이론에서 오랫동안 미해결 문제로 남아 있는 Tarski의 지수함수 문제와 동치임을 입증한다. 또한 ϵ-오차 허용 범위 하에서 양자화 없는 선형 산술 사양을 갖는 DNN 검증은 NP-완전 문제인 DNN 도달 가능성 문제로 감소됨을 보이며, 조각별로 선형인 DNN과 부드러운 DNN 간의 기본적인 복잡도 격차를 드러낸다.

ABSTRACT

Deep neural networks (DNNs) are increasingly being deployed to perform safety-critical tasks. The opacity of DNNs, which prevents humans from reasoning about them, presents new safety and security challenges. To address these challenges, the verification community has begun developing techniques for rigorously analyzing DNNs, with numerous verification algorithms proposed in recent years. While a significant amount of work has gone into developing these verification algorithms, little work has been devoted to rigorously studying the computability and complexity of the underlying theoretical problems. Here, we seek to contribute to the bridging of this gap. We focus on two kinds of DNNs: those that employ piecewise-linear activation functions (e.g., ReLU), and those that employ piecewise-smooth activation functions (e.g., Sigmoids). We prove the two following theorems: 1) The decidability of verifying DNNs with a particular set of piecewise-smooth activation functions is equivalent to a well-known, open problem formulated by Tarski; and 2) The DNN verification problem for any quantifier-free linear arithmetic specification can be reduced to the DNN reachability problem, whose approximation is NP-complete. These results answer two fundamental questions about the computability and complexity of DNN verification, and the ways it is affected by the network's activation functions and error tolerance; and could help guide future efforts in developing DNN verification tools.

연구 동기 및 목표

• 비조각별로 선형인 활성화 함수를 갖는 DNN 검증의 계산 가능성과 복잡도를 조사하기 위해.
• 부드럽고 조각별로 부드러운 활성화 함수를 갖는 DNN 검증이 결정 가능하는지 여부를 규명하기 위해.
• ϵ-오차 허용 범위와 양자화 없는 선형 산술 사양 하에서 DNN 검증의 계산 복잡도를 분석하기 위해.
• DNN 검증, 도달 가능성, 그리고 알려진 결정 가능 이론 간의 형식적 연결 고리를 수립하기 위해.
• 이론적 경계와 복잡도 클래스를 규명함으로써 향후 검증 도구 개발을 이끌기 위해.

제안 방법

• 부드럽고 조각별로 부드러운 활성화 함수를 포함하는 DNN 검증 쿼리와 Tarski의 지수함수 문제의 사례 사이에 형식적 전단사 관계를 구축하기 위해.
• 이러한 네트워크의 DNN 검증 문제를 논리적으로 Tarski의 미해결 문제와 동치임을 증명하여, Tarski 문제의 해결이 이루어지지 않는 한 불결정 가능성을 암시하기 위해.
• 양자화 없는 선형 산술 사양을 갖는 임의의 DNN 검증 쿼리를 구성적 변환을 통해 DNN 도달 가능성 문제로 감소시키기 위해.
• 계산 논리학에서 알려진 복잡도 결과를 활용하여, ϵ-오차 허용 범위 하에서 DNN 도달 가능성 문제가 NP-완전임을 입증하기 위해.
• Nelson-Oppen 방법을 결합된 결정 절차의 이론적 기초로 사용하기는 하지만, 공유된 서명으로 인해 비분리 이론에 적응시켜 적용하기 위해.
• 다중 네트워크 검증 작업(예: DNN 동치성)으로의 도달 가능성 감소를 확장하기 위해 등가 조건을 인코딩하는 추가 ReLU 뉴런을 갖는 보조 네트워크를 구축하기 위해.

실험 결과

연구 질문

• RQ1 부드럽고 조각별로 부드러운 활성화 함수를 갖는 DNN 검증 문제는 결정 가능한가?
• RQ2 ϵ-오차 허용 범위가 도입되었을 때 DNN 검증의 계산 복잡도는 무엇인가?
• RQ3 양자화 없는 선형 산술 사양을 갖는 DNN 검증은 DNN 도달 가능성 문제로 감소할 수 있는가?
• RQ4 ReLU 유사 활성화 함수를 갖는 DNN의 이론적 성질은 Sigmoid나 tanh와 비교해 검증 복잡도 측면에서 어떻게 다를까?
• RQ5 네트워크 아키텍처나 사양 언어를 제한함으로써 DNN 검증의 결정 가능 조각을 식별할 수 있는가?

주요 결과

• 부드럽고 조각별로 부드러운 활성화 함수를 갖는 DNN 검증 문제는 모형 이론에서 잘 알려진 열린 문제인 Tarski의 지수함수 문제와 논리적으로 동치이다.
• 양자화 없는 선형 산술 사양을 갖는 DNN 검증은 ϵ-오차 허용 범위 하에서 DNN 도달 가능성 문제로 감소하며, 이는 NP-완전 문제이다.
• 이 감소는 ϵ-허용 범위 하에서 DNN 도달 가능성 문제가 NP의 완전 문제임을 입증하며, 검증 도구에 대한 복잡도 기준을 제공한다.
• 등가 조건을 추가 ReLU 뉴런으로 인코딩하는 구성 덕분에, 검증과 도달 가능성 간의 동치성은 DNN 동치성과 같은 다중 네트워크 쿼리에 대해서도 성립한다.
• 이 결과들은 근본적인 이론적 격차를 드러낸다: 조각별로 선형인 DNN의 검증은 NP-완전이지만, 부드러운 DNN의 검증은 수학 논리학의 해결되지 않은 문제에 연결되어 있다.
• 연구 결과는 Tarski 문제의 해결이 이루어지지 않는 한, 정확한 부드러운 DNN 검증이 조각별로 선형인 경우보다 본질적으로 더 어려울 수 있음을 시사한다.