[논문 리뷰] Reachability Analysis of Deep Neural Networks with Provable Guarantees

Wenjie Ruan, Xiaowei Huang외 1명|arXiv (Cornell University)|2018. 05. 06.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 34

한 줄 요약

이 논문은 리프시츠 연속성 기반의 적응형 내재 최적화를 사용하여 증명 가능한 보장을 제공하는 딥 네ural 네트워크(DNNs)를 위한 새로운 도달 가능성 분석 프레임워크를 제안한다. 이는 안전성 검증, 출력 범위 분석, 다양한 DNN 아키텍처(예: 시그모이드 및 소프트맥스와 같은 비-렐루 활성화 함수 포함)에서의 강건성 평가를 가능하게 하며, 수백만 개의 뉴런을 가진 대규모 네트워크까지 스케일링된다. 기존의 제약 기반 방법에 비해 확장성과 레이어 지원 면에서 슈퍼리어한 성능을 보인다.

ABSTRACT

Verifying correctness of deep neural networks (DNNs) is challenging. We study a generic reachability problem for feed-forward DNNs which, for a given set of inputs to the network and a Lipschitz-continuous function over its outputs, computes the lower and upper bound on the function values. Because the network and the function are Lipschitz continuous, all values in the interval between the lower and upper bound are reachable. We show how to obtain the safety verification problem, the output range analysis problem and a robustness measure by instantiating the reachability problem. We present a novel algorithm based on adaptive nested optimisation to solve the reachability problem. The technique has been implemented and evaluated on a range of DNNs, demonstrating its efficiency, scalability and ability to handle a broader class of networks than state-of-the-art verification approaches.

연구 동기 및 목표

• 안전 기반 응용 분야에서 딥 네ural 네트워크의 정확성과 강건성 검증 문제를 해결하기 위해.
• 어떤 입력 하위공간에 대해서도 리프시츠 연속 함수의 증명 가능한 하한 및 상한을 계산하는 일반적인 도달 가능성 문제를 개발하기 위해.
• 기존의 제약 기반 검증 방법의 한계를 극복하기 위해, 이는 레이어가 모두 리렐루인 네트워크에 국한되며 대규모 모델에 대해 스케일링되지 못하기 때문이다.
• 수백만 개의 뉴런을 가진 최신 DNN 아키텍처와 비선형 레이어(예: 시그모이드, 맥스 풀링, 소프트맥스)의 검증을 가능하게 하기 위해.
• 적응형, 증명 가능한, 일반적인 프레임워크를 제공하여, 적대적 강건성 이외의 분야에서도 DNN의 안전성 인증을 가능하게 하기 위해.

제안 방법

• 이 방법은 주어진 입력 하위공간에서 DNN 출력의 어떤 리프시츠 연속 함수에 대해서도 증명 가능한 하한 및 상한을 계산하는 일반적인 도달 가능성 문제를 수립한다.
• 모든 표준 DNN 레이어(예: 리렐루, 시그모이드, 맥스 풀링, 소프트맥스)의 리프시츠 연속성을 활용하여 해석적으로 날카운 리프시츠 상수를 계산한다.
• 입력 공간을 이산화하지 않고도 전역 하한 및 상한을 효율적으로 계산하기 위해 적응형 내재 최적화 알고리즘을 제안한다.
• 이 방법은 MILP, SAT, 또는 SMT 솔버에 의존하지 않으며, 네트워크의 리프시츠 성질에 기반한 수렴 보장을 갖는 연속 최적화를 사용한다.
• 계산 복잡도는 편차를 가질 입력 차원의 수에 따라 달라지며, 은닉 뉴런의 수에 따라 달라지지 않아 대규모 모델에 대한 확장성이 보장된다.
• 이 구현체인 DeepGO는 ACAS-Xu 및 아나콘다넷과 같은 대규모 네트워크에서 평가되었으며, 확장성과 레이어 지원 면에서 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 리프시츠 연속 함수에 대해 어떤 활성화 유형이든 상관없이 DNN 출력에 대해 증명 가능한 하한 및 상한을 제공하는 도달 가능성 분석 프레임워크를 개발할 수 있는가?
• RQ2 기존의 제약 기반 솔버가 대규모 네트워크에서 실패하는 한계를 넘어서 DNN 검증의 확장성을 어떻게 향상시킬 수 있는가?
• RQ3 시그모이드, 소프트맥스, 맥스 풀링과 같은 비-렐루 레이어가 증명 가능한 검증 프레임워크 내에서 공식적으로 다룰 수 있는가?
• RQ4 제안된 방법이 런타임, 레이어 지원, 실제 대규모 DNN에의 적용 가능성 면에서 기존 도구들을 초월하는가?
• RQ5 이 방법을 사용하여 강건성의 정량적 비교를 체계적이고 정량적으로 수행할 수 있는가?

주요 결과

• 제안된 방법은 기존 도구인 Reluplex와 BaB가 6층에 국한되는 것과는 달리, 최대 19층의 DNN을 성공적으로 검증하였다.
• 기존의 제약 기반 도구인 MIP와 BaB가 수백 개의 뉴런에 국한되는 것과는 달리, 이 방법은 아나콘다넷(650만 개의 뉴런)과 같은 수백만 개의 뉴런을 가진 네트워크로도 스케일링된다.
• 이 방법은 시그모이드, 소프트맥스, 맥스 풀링을 포함한 모든 표준 DNN 레이어를 지원한다. 반면 SHERLOCK과 Reluplex는 리렐루에 국한되어 있다.
• ACAS-Xu 네트워크에서, 이 방법은 더 낮은 성능의 하드웨어에서 작동함에도 불구하고 BaB와 유사한 성능을 기록하였고, 다른 제약 기반 도구보다 뛰어난 성능을 보였다.
• 계산 복잡도는 은닉 뉴런의 수가 아니라 입력 차원 수에 대해 NP-완전이며, 이는 대규모 모델에 대해 더 나은 확장성을 보장한다.
• 이 프레임워크를 통해 정량적 강건성 비교가 가능해졌으며, 예를 들어 DNN-4는 특성-3에서 출력 범위 [94.2%, 100%]를 보여, 뛰어난 강건성을 나타냈다.