[논문 리뷰] Algorithms for Verifying Deep Neural Networks

Changliu Liu, Tomer Arnon외 4명|arXiv (Cornell University)|2019. 03. 15.

Adversarial Robustness in Machine Learning참고 문헌 68인용 수 35

한 줄 요약

이 논문은 심층 신경망의 타당한 검증 방법을 조사하고 도달가능성, 최적화, 탐색을 연결하며 교육용 구현과 벤치마크 비교를 제공합니다.

ABSTRACT

Deep neural networks are widely used for nonlinear function approximation with applications ranging from computer vision to control. Although these networks involve the composition of simple arithmetic operations, it can be very challenging to verify whether a particular network satisfies certain input-output properties. This article surveys methods that have emerged recently for soundly verifying such properties. These methods borrow insights from reachability analysis, optimization, and search. We discuss fundamental differences and connections between existing algorithms. In addition, we provide pedagogical implementations of existing methods and compare them on a set of benchmark problems.

연구 동기 및 목표

• 다양한 응용 분야에서 심층 신경망의 입력-출력 특성을 검증할 필요성을 동기 부여한다.
• 기존 검증 방법을 조사하고 핵심 아이디어와 기법에 따라 분류한다.
• 검증 접근법 간의 연결점과 차이점 및 이론적 기초를 강조한다.
• 이해와 실습을 돕기 위한 교육용 구현과 벤치마크 비교를 제공한다.

제안 방법

• 기존 검증 방법을 조사한다.
• 접근법 간의 기본 차이점과 연결점(도달가능성, 최적화, 탐색)을 논의한다.
• 기존 방법의 교육용 구현을 제시한다.
• 벤치마크 문제 집합에서 방법을 비교한다.

실험 결과

연구 질문

• RQ1 심층 신경망에 대한 검증 방법(도달가능성, 최적화, 탐색) 간의 기본 차이점과 연결점은 무엇인가?
• RQ2 검증 방법을 교육적으로 구현할 수 있는 방법과 벤치마크 문제에서의 성능은 어떻게 나타나는가?
• RQ3 다른 네트워크 유형과 특성에서 현재 검증 기법의 실용적 트레이드오프와 한계는 무엇인가?

주요 결과

• 심층 신경망에 대한 검증 방법은 도달가능성 분석, 최적화, 탐색 사이에 존재한다.
• 조사된 알고리즘들 간에는 근본적인 차이와 연결점이 있다.
• 이해와 실험을 돕기 위한 교육용 구현이 제공된다.
• 방법 성능을 평가하기 위한 벤치마크 비교가 포함된다.