[논문 리뷰] Specification-Guided Safety Verification for Feedforward Neural Networks

Weiming Xiang, Hoang-Dung Tran외 1명|arXiv (Cornell University)|2018. 12. 14.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 10

한 줄 요약

이 논문은 일반적인 활성화 함수를 갖는 피드포워드 신경망에 대한 사양 유도 안전성 검증 방법을 제안한다. 구간 분석을 활용하여 출력 구간을 효율적으로 계산함으로써, 안전성 사양을 통해 이분법 결정을 유도함으로써 계산 비용을 줄인다. 이는 이전 작업 대비 최대 93–97%의 계산 감소를 달성하였으며, 로봇 암 제어 및 MNIST 이미지 분류 작업에서 검증되었다.

ABSTRACT

This paper presents a specification-guided safety verification method for feedforward neural networks with general activation functions. As such feedforward networks are memoryless, they can be abstractly represented as mathematical functions, and the reachability analysis of the neural network amounts to interval analysis problems. In the framework of interval analysis, a computationally efficient formula which can quickly compute the output interval sets of a neural network is developed. Then, a specification-guided reachability algorithm is developed. Specifically, the bisection process in the verification algorithm is completely guided by a given safety specification. Due to the employment of the safety specification, unnecessary computations are avoided and thus the computational cost can be reduced significantly. Experiments show that the proposed method enjoys much more efficiency in safety verification with significantly less computational cost.

연구 동기 및 목표

• 일반적인 활성화 함수를 갖는 피드포워드 신경망에 대한 공식적 안전성 검증 방법의 부족을 해결하기 위해.
• 기존 검증 방법의 높은 계산 비용을 안전성 사양을 활용한 이분법 과정 유도를 통해 감소시키기 위해.
• 피드포워드 네트워크의 출력 집합에 대한 계산 효율적인 구간 계산 공식을 개발하기 위해.
• 로봇 제어 및 이미지 인식과 같은 실세계 적용 분야를 위한 확장 가능한 안전성 검증을 가능하게 하기 위해.
• 대부분의 공격에 강건한 성능 보장을 갖는 제어 시스템 및 이미지 분류 작업에서의 방법의 효과성을 입증하기 위해.

제안 방법

• 신경망 출력을 구간 집합으로 표현할 수 있도록, 구간 산술의 프레임워크 내에서 안전성 검증 문제를 수립한다.
• 층 단위로 구간 전파를 통해 빠른 출력 구간 집합 계산을 위한 계산 효율적인 공식을 개발한다.
• 계산된 출력 구간과 불안전 영역 간의 교차 여부에 따라 이분법 결정을 내리는 사양 유도 이분법 알고리즘을 도입한다.
• 안전성 사양을 활용해 불필요한 분할을 제거함으로써 중복 계산을 방지하고 효율성을 향상시킨다.
• 출력 구간이 불안전 집합과 교차하는 영역에 대해서만 재귀적으로 정밀화한다.
• 일반적인 활성화 함수를 처리하기 위해 구간 산술과 조각별 선형 근사를 활용하며, ReLU나 특정 비선형성에 제한되지 않는다.

실험 결과

연구 질문

• RQ1 사양 유도 접근 방식이 일반적인 활성화 함수를 갖는 피드포워드 신경망에 대한 안전성 검증의 계산 비용을 크게 감소시킬 수 있는가?
• RQ2 제안된 방법은 로봇 암과 같은 실세계 제어 시스템의 안전성 성질 검증에 얼마나 효과적인가?
• RQ3 이 방법은 이미지 분류 작업에서 공격에 대한 강건성을 어느 정도까지 검증할 수 있는가?
• RQ4 큰 네트워크로 확장해도 공식적 보장을 유지하면서 낮은 계산 오버헤드를 유지할 수 있는가?
• RQ5 기존의 비유도 검증 방식에 비해 사양 유도 이분법 전략은 효율성과 정확성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 [3]에서 제시한 기준 방법 대비 계산 비용을 오직 3–7%로 줄여 최대 93%의 계산 시간 감소를 달성하였다.
• 로봇 암 안전성 검증 작업에서 기준 방법이 729개의 입력 구간이 필요한 데 비해, 본 방법은 오직 15개의 입력 구간으로도 안전성을 입증하였다.
• 학습된 MNIST 분류기의 강건성을 이미지의 왼쪽 상단 3×3 영역의 모든 변형에 대해 검증하였으며, 97.5%의 정확도를 유지하였다.
• 반면, 동일한 위치에서 4×4 변형에 대해서는 네트워크가 비강건한 것으로 확인되어, 본 방법이 취약점을 탐지할 수 있음을 확인하였다.
• 로봇 암 케이스에서는 단 0.27초 만에 검증을 완료하여 높은 효율성을 입증하였다.
• 본 방법은 3×3 변형에 대해 5000장의 MNIST 테스트 이미지 전부에 대해 강건성을 성공적으로 입증하여 데이터셋 전반에 걸친 일반화 능력을 확인하였다.