[논문 리뷰] Semialgebraic Representation of Monotone Deep Equilibrium Models and Applications to Certification

Tong Chen, Jean B. Lasserre외 2명|arXiv (Cornell University)|2021. 06. 02.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 ReLU 기반의 단조 증가 딥 균형 모델(monDEQs)에 대한 반대칭 대수적 표현을 제안하여, 준금속 프로그래밍(SDP)을 통한 강인성 인증, 리프시츠 상수 추정, 타원체 근사 불확실성 전파를 가능하게 한다. 제안된 SDP 기반 모델은 이전 방법보다 뛰어나며, 특히 $L_2$ 강인성에서 뛰어난 성능을 보이며, monDEQs가 $L_\infty$ 노이즈에 대해 $L_2$ 노이즈보다 훨씬 더 취약하다는 것을 드러낸다.

ABSTRACT

Deep equilibrium models are based on implicitly defined functional relations and have shown competitive performance compared with the traditional deep networks. Monotone operator equilibrium networks (monDEQ) retain interesting performance with additional theoretical guaranties. Existing certification tools for classical deep networks cannot directly be applied to monDEQs for which much fewer tools exist. We introduce a semialgebraic representation for ReLU based monDEQs which allows to approximate the corresponding input output relation by semidefinite programming (SDP). We present several applications to network certification and obtain SDP models for the following problems : robustness certification, Lipschitz constant estimation, ellipsoidal uncertainty propagation. We use these models to certify robustness of monDEQs w.r.t. a general $L_q$ norm. Experimental results show that the proposed models outperform existing approaches for monDEQ certification. Furthermore, our investigations suggest that monDEQs are much more robust to $L_2$ perturbations than $L_{\infty}$ perturbations.

연구 동기 및 목표

• 단조 증가 딥 균형 모델(monDEQs)에 대한 강인성 인증 도구가 부족한 데에 대응하기 위해, 이는 이론적으로 타당하지만 아직 인증 분야에서 다뤄지지 않은 분야이다.
• 반대칭 대수적 표현을 활용한 일반적인 프레임워크를 개발하여 강인성 인증, 리프시츠 상수 추정, 그리고 네트워크 출력의 외부 근사치 계산을 수행한다.
• 준금속 프로그래밍의 허용된 근사화를 통해 일반적인 $L_p$ 노름, 특히 $L_2$ 및 $L_\infty$ 에서 monDEQs의 효율적 인증을 가능하게 한다.
• monDEQs가 비대칭적인 강인성을 보이며, $L_\infty$ 보다 $L_2$ 보다 더 민감하다는 것을 입증한다.
• 이전에 고전적 DNN에 국한되어 있던 대수기하 기반 인증 기법을 암묵적으로 정의된 monDEQ 아키텍처로 확장한다.

제안 방법

• 고정점 방정식과 단조성 제약 조건을 사용하여 ReLU 활성화를 갖는 monDEQs를 반대칭 대수적 집합으로 표현한다.
• 반대칭 대수적 표현을 준금속 프로그래밍(SDP)의 계층으로 변환하기 위해 쇼어의 근사화 기법을 적용한다.
• 세 가지 별도의 SDP 모델을 구축한다: (1) $L_p$ 노름 기반 강인성 인증, (2) 리프시츠 상수 추정, (3) 이미지 집합의 타원체 외부 근사.
• SDP 계층의 1차 근사화를 사용하여 리프시츠 상수의 날카운 상한을 계산하고 강인성 인증을 검증한다.
• 외부 근사 타원체의 기하학적 성질을 활용하여, 타원체가 레이블 공간의 결정 경계 아래에 위치하는지 확인함으로써 간접적으로 강인성 인증을 수행한다.
• MNIST에 대해 완전 연결 monDEQs를 적용하여 [25]에서 제시한 최신 기법과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 monDEQs의 반대칭 대수적 표현을 구성하여 준금속 프로그래밍 기반 대수적 인증이 가능하게 할 수 있는가?
• RQ2 제안된 SDP 기반 모델은 기존 방법에 비해 monDEQs의 강인성 인증 성능에서 어떻게 비교되는가?
• RQ3 monDEQs의 강인성은 $L_p$ 노름 간에 대칭적인가, 특히 $L_2$와 $L_\infty$ 사이에서 어떻게 되는가?
• RQ4 제안된 모델은 monDEQs에 대해 날카운 리프시츠 상수 상한을 추정할 수 있는가, 이는 기존의 추정치를 향상시키는가?
• RQ5 외부 근사 타원체는 monDEQs에서 간접적인 강인성 인증에 효과적으로 활용될 수 있는가, 직접적인 강인성 검증과 비교했을 때 어떻게 되는가?

주요 결과

• 제안된 강인성 모델은 [25]의 방법보다 뛰어나며, $L_2$ 노름 기반으로 더 많은 MNIST 예제에 대해 강인성 인증을 수행한다.
• 1차 SDP 근사화를 사용함에도 불구하고, 제안된 강인성 모델은 최신 기술 대비 더 날카운 인증 한계를 확보한다.
• 리프시츠 모델은 [25]보다 더 날카운 리프시츠 상수 상한을 제공하여 추정 정확도 향상을 입증한다.
• 타원체 모델은 네트워크 출력의 효과적인 외부 근사치를 가능하게 하며, 시각화 결과를 통해 $L_2$ 기반 타원체는 결정 임계값 아래에 위치하지만 $L_\infty$ 기반 타원체는 그렇지 않다는 것을 보여준다.
• 실험 결과는 monDEQs가 고전적 DNN과는 달리 $L_\infty$ 노이즈에 대해 훨씬 더 취약하다는 것을 확인한다.
• SDP 기반 모델은 인증 작업에 효과적이지만, 현재 SDP 솔버가 5000x5000를 초과하는 행렬을 처리할 능력이 제한되어 있어 확장성에 한계가 있다.