[논문 리뷰] Efficient Neural Network Robustness Certification with General Activation Functions

Huan Zhang, Tsui-Wei Weng외 3명|arXiv (Cornell University)|2018. 11. 02.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 209

한 줄 요약

CROWN은 적응적 선형(및 선택적 이차) 대리함수로 활성화를 경계하여 임의 활성함수에 대한 신경망의 로버스트니스 인증을 일반 프레임워크로 제공하고, 인증 경계를 개선하며 대형 네트워크로의 확장을 가능하게 한다.

ABSTRACT

Finding minimum distortion of adversarial examples and thus certifying robustness in neural network classifiers for given data points is known to be a challenging problem. Nevertheless, recently it has been shown to be possible to give a non-trivial certified lower bound of minimum adversarial distortion, and some recent progress has been made towards this direction by exploiting the piece-wise linear nature of ReLU activations. However, a generic robustness certification for general activation functions still remains largely unexplored. To address this issue, in this paper we introduce CROWN, a general framework to certify robustness of neural networks with general activation functions for given input data points. The novelty in our algorithm consists of bounding a given activation function with linear and quadratic functions, hence allowing it to tackle general activation functions including but not limited to four popular choices: ReLU, tanh, sigmoid and arctan. In addition, we facilitate the search for a tighter certified lower bound by adaptively selecting appropriate surrogates for each neuron activation. Experimental results show that CROWN on ReLU networks can notably improve the certified lower bounds compared to the current state-of-the-art algorithm Fast-Lin, while having comparable computational efficiency. Furthermore, CROWN also demonstrates its effectiveness and flexibility on networks with general activation functions, including tanh, sigmoid and arctan.

연구 동기 및 목표

• 비-ReLU 활성화 및 일반 아키텍처를 가진 신경망에 대한 견고성 인증의 동기 부여.
• 임의의 활성화 함수에 대해 입력 교란 하에서 네트워크 출력을 경계하는 일반 프레임워크를 개발.
• 최소 적대적 왜곡의 인증된 하한을 강화하기 위해 대리 경계의 적응 선택을 가능하게 함.
• 대규모 네트워크에 대한 확장성과 최첨단 인증 방법과의 비교를 보여줌.

제안 방법

• 일반 활성화 함수를 대리하기 위해 선형 및 이차 경계를 사용하는 CROWN 도입.
• 프리액티베이션 값의 경계에 대한 경계로 m-레이어 네트워크의 명시적 출력 경계 도출.
• 선형 대리함수를 통해 타원/ℓp 교란 집합에 대한 전역 경계를 닫는 형태 제공.
• 경계들을 단단하게 만들기 위해 뉴런의 대리 기울기를 적응적으로 선택하는 스키마를 제공.
• 경계에 대해 이차 경계로 확장하여 경계에 대한 컨벡스 최적화 부분문제가 가능하도록 함.
• Fast-Lin이 CROWN의 특수한 경우이며 ReLU 네트워크에 대한 인증 경계가 개선되고 tanh, sigmoid, arctan에도 적용 가능함을 입증.

실험 결과

연구 질문

• RQ1 비선형 활성화에 대해 강인성 인증을 어떻게 확장할 수 있을까?
• RQ2 적응형 선형(및 선택적으로 이차) 대리함수가 최소 적대적 왜곡의 인증된 하한을 더 촘촘하게 만들 수 있을까?
• RQ3 ReLU 및 비-ReLU 활성화를 가진 네트워크에서 기존 방법과 비교했을 때 CROWN의 성능, 확장성 및 정확도는 어떠한가?
• RQ4 대규모 신경망에서도 계산 효율성을 유지하며 인증 경계를 얼마나 개선할 수 있을까?]
• RQ5 key_findings_titles_placeholder

주요 결과

• CROWN은 ℓp 교란 하에서 각 출력 유닛에 대해 f_j^L(x) 및 f_j^U(x)의 명시적 출력 경계를 제공한다.
• 적응적 대리 선택은 인증된 하한을 더 촘촘하게 만들며, 실험에서 Fast-Lin보다 최대 26% 향상.
• CROWN은 확장 가능하며 단일 CPU 코어에서 약 1분 만에 10,000개 이상의 뉴런을 가진 네트워크에 대해 인증된 하한을 달성했다.
• CROWN은 ReLU를 넘는 활성화 함수도 일반화하며, tanh, sigmoid, arctan를 포함하고도 경쟁력 있는 효율성을 유지한다.
• Fast-Lin은 고정된 대리 슬로프를 가진 CROWN의 특수한 경우이다.
• CROWN의 이차 확장(CROWN-Quad)은 경계에 대해 잠재적으로 볼록한 부분문제로 확장한다.