[논문 리뷰] Output Range Analysis for Deep Neural Networks

Souradeep Dutta, Susmit Jha외 2명|arXiv (Cornell University)|2017. 09. 26.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 75

한 줄 요약

본 논문은 탐색형 지역 탐색과 MILP 기반 방법의 하이브리드인 Sherlock을 제시하여, 볼록 입력 집합 위에서 피드포워드 ReLU 네트워크의 보장된 출력 범위를 계산하고 이를 합성 및 실제 검증 시나리오에서 Reluplex와 비교한다.

ABSTRACT

Deep neural networks (NN) are extensively used for machine learning tasks such as image classification, perception and control of autonomous systems. Increasingly, these deep NNs are also been deployed in high-assurance applications. Thus, there is a pressing need for developing techniques to verify neural networks to check whether certain user-expected properties are satisfied. In this paper, we study a specific verification problem of computing a guaranteed range for the output of a deep neural network given a set of inputs represented as a convex polyhedron. Range estimation is a key primitive for verifying deep NNs. We present an efficient range estimation algorithm that uses a combination of local search and linear programming problems to efficiently find the maximum and minimum values taken by the outputs of the NN over the given input set. In contrast to recently proposed "monolithic" optimization approaches, we use local gradient descent to repeatedly find and eliminate local minima of the function. The final global optimum is certified using a mixed integer programming instance. We implement our approach and compare it with Reluplex, a recently proposed solver for deep neural networks. We demonstrate the effectiveness of the proposed approach for verification of NNs used in automated control as well as those used in classification.

연구 동기 및 목표

• 신뢰 가능한 출력 범위가 필요한 안전 중요성과 강건성 맥락에서 신경망의 보장 가능한 출력 범위의 필요성을 제시한다.
• 피드포워드 ReLU 네트워크의 컴팩트 입력 폴리헤드라에 대한 범위 추정 문제를 정의한다.
• 네트워크 출력을 상한/하한으로 인증하기 위해 그래디언트 기반 로컬 탐색과 MILP 기반 글로벌 탐색을 결합한 하이브리드 알고리즘을 제안한다.

제안 방법

• 네트워크를 선형 맵과 ReLU 활성화의 합성으로 표현하여 부분적으로 해석 가능한 연속적 전역 함수 F를 구성한다.
• 로컬 활성 영역 내에서의 로컬 탐색(그래디언트 상승/하강)과 글로벌 개선을 위한 MILP 가용성 검사를 결합한 상한/하한 추정의 연속적 탐색으로 형식화한다.
• 전역 탐색에서 ReLU 비선형성을 이진 변수로 표현한 혼합 정수 선형 프로그램(MILP)으로 입력 다면체 P 내에서 더 높은 출력이 존재하는지 여부를 테스트한다.
• 수렴 및 근사 보장을 입증한다: 알고리즘이 판별 오차 delta 내의 경계를 반환하며, u* ≤ u ≤ u*+delta를 보장한다.
• Sherlock 도구로 구현하고 synthetic 네트워크와 제어 및 MNIST 스타일 분류 과제를 포함한 벤치마크에서 Reluplex와 비교한다.
• 순전파 계열 규칙(체인 룰)과 로컬 활성 영역을 이용한 그래디언트 계산 및 선형계획법 기반 상승 단계를 가능하게 하는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 깊은 ReLU 네트워크에 대해 컴팩트 입력 다면체에서 tight하고 보장된 출력 범위를 계산할 수 있는가?
• RQ2 로컬 탐색과 MILP를 결합한 하이브리드 방법이 범위 추정에서 순수한 단일 최적화 방법보다 우수한가?
• RQ3 수백에서 수천 개의 뉴런을 가진 네트워크로 규모 확장이 가능하며 정확도와 실용성을 유지할 수 있는가?
• RQ4 이 방법이 제어 지향 네트워크와 이미지 분류 강건성 분석 모두에 적용 가능한가?
• RQ5 다양한 네트워크 희소성 및 크기에 따라 해결된 인스턴스 수, 속도, 강건성 측면에서 Sherlock과 Reluplex의 비교는 어떻게 되는가?

주요 결과

• Sherlock은 로컬 활성 영역 내에서의 로컬 그래디언트 상승과 MILP 기반의 글로벌 탐색을 결합하여 오차 허용 delta로 출력 범위를 인증한다.
• 이 방법은 실제 최대값의 u*에 대해 delta 이내의 상한을 제공하며, u* ≤ u ≤ u*+delta를 보장한다.
• Sherlock은 실험에서 최대 약 1500개의 뉴런 네트워크까지 확장 가능성을 보이며, 다수의 무작위 및 벤치마크 인스턴스에서 Reluplex를 능가한다.
• 비선형 시스템 모델에 대한 제어 입력 범위를 좁게 도출하고 MNIST 유사 분류기에서 교란에 의한 레이블 변화를 식별하는 등 강건성 분석을 지원하는 응용 사례를 보여준다.
• 경험적 결과는 네트워크의 희소성 및 전체 뉴런 수가 성능에 실질적인 영향을 미치며, 밀집하고 큰 네트워크의 경우 Sherlock와 Reluplex 모두에게 도전적이지만 Sherlock이 주어진 시간 제한 내에 더 자주 성공한다는 것을 시사한다.