[논문 리뷰] Safety Verification and Robustness Analysis of Neural Networks via Quadratic Constraints and Semidefinite Programming

Mahyar Fazlyab, Manfred Morari외 1명|arXiv (Cornell University)|2019. 03. 04.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 노름 유한 입력 변동에 대한 일반적인 활성화 함수를 갖는 피드포워드 신경망의 안전성 검증 및 강건성 분석을 위한 준정방행렬 프로그래밍(SDP) 프레임워크를 제안한다. 활성화 함수의 특성—예를 들어 기울기의 유계성, 단조성, 층 간 반복성—을 이차 제약 조건(QC)으로 추상화함으로써, S-절차를 통해 검증 문제를 SDP 타당성 문제로 변환함으로써, 조정 가능한 비약성과 계산 효율성을 확보하는 증명 가능한 강건성 보장을 가능하게 한다.

ABSTRACT

Certifying the safety or robustness of neural networks against input uncertainties and adversarial attacks is an emerging challenge in the area of safe machine learning and control. To provide such a guarantee, one must be able to bound the output of neural networks when their input changes within a bounded set. In this paper, we propose a semidefinite programming (SDP) framework to address this problem for feed-forward neural networks with general activation functions and input uncertainty sets. Our main idea is to abstract various properties of activation functions (e.g., monotonicity, bounded slope, bounded values, and repetition across layers) with the formalism of quadratic constraints. We then analyze the safety properties of the abstracted network via the S-procedure and semidefinite programming. Our framework spans the trade-off between conservatism and computational efficiency and applies to problems beyond safety verification. We evaluate the performance of our approach via numerical problem instances of various sizes.

연구 동기 및 목표

• 입력 불확실성에 대비한 깊은 신경망의 안전성과 강건성을 증명 가능하고 계산적으로 실현 가능한 방법을 개발하는 것.
• 기존 방법의 한계를 해결하기 위해 조각별 선형 함수를 초월한 일반적인 활성화 함수를 위한 분석을 가능하게 하는 것.
• 구조화된 이차 제약 조건을 통해 비약성을 감소시키면서도 계산 가능성을 유지하는 것.
• 안전성 검증을 넘어서 리프시츠 상수 추정 및 출력 도달 가능 영역 분석과 같은 응용에 적용 가능한 통합 프레임워크를 제공하는 것.
• 다양한 QC 유형의 포함/제외를 통해 계산 복잡성과 해의 날카움 사이의 체계적 트레이드오���을 가능하게 하는 것.

제안 방법

• 기울기의 유계성, 단조성, 유계 값 등의 특성을 포함하는 이차 제약 조건(QC)을 사용해 활성화 함수를 추상화하는 것.
• 모든 신경망을 상호 연결된 이차 제약 조건의 시스템으로 모델링하여 층 간 뉴런 상호작용을 포괄하는 것.
• S-절차를 사용해 다수의 QC를 통합함으로써 안전성 검증 문제를 준정방행렬(SDP) 타당성 문제로 공식화하는 것.
• 입력 불확실성 집합과 활성화 함수 특성을 각각 특정한 QC 행렬로 표현하는 계층적 추상화를 도입하는 것.
• 행렬 령도와 슈어 여부를 사용해 비선형 부등식을 볼록한 SDP 제약 조건으로 변환하는 것.
• 다양한 유형의 QC를 선택적으로 포함하거나 제외함으로써 확장성과 조정 가능한 비약성을 달성하는 것.

실험 결과

연구 질문

• RQ1 우리는 볼록 최적화 프레임워크를 사용해 입력 변동에 대한 깊은 신경망의 강건성을 검증할 수 있는가?
• RQ2 일반적인 활성화 함수를 어떻게 이차 제약 조건을 사용해 추상화할 수 있으며, 이는 불확실성 하에서 네트워크 동작을 유지하는 데 어떻게 기여하는가?
• RQ3 뉴런 간 층 간 결합을 포괄함으로써 강건성 검증의 비약성은 어느 정도 감소하는가?
• RQ4 검증 과정에서 계산 비용과 해의 날카움 사이의 트레이드오프를 어떻게 체계적으로 제어할 수 있는가?
• RQ5 제안된 QC 기반 SDP 프레임워크는 안전성 검증을 초월해 리프시츠 상수 추정과 같은 문제로 일반화되는가?

주요 결과

• 제안된 SDP 프레임워크는 ℓ∞-유계 입력 변동 하에서 ReLU 및 기타 일반적인 활성화 함수에 대해 증명 가능한 강건성 인증을 달성한다.
• 층 간 반복적인 비선형성 특성을 포괄하는 이차 제약 조건을 포함함으로써 검증 경계의 비약성이 크게 감소한다.
• 수치적 평가에서 100에서 1000개의 은닉 뉴런을 사용한 결과, 은닉 뉴런 수가 증가할수록 과대근사 품질이 향상됨을 보였다.
• 더 큰 변동 크기(예: ε = 0.8)는 더 느슨한 경계를 초래하지만, 다양한 ε 값에 대해 수치적으로 안정적이고 확장 가능한 것으로 나타났다.
• QC 추상화 하에 네트워크 크기의 다항식 비례로 증가하는 계산 복잡성을 지닌 다양한 깊이와 너비의 네트워크에 대해 효율적인 검증을 가능하게 했다.
• S-절차를 통한 이론적 보장으로, 추상화된 시스템에서 검증된 모든 성질이 원래 신경망에도 성립함을 보장한다.