[논문 리뷰] Limitations of the Lipschitz constant as a defense against adversarial examples

Todd Huster, Cho‐Yu Jason Chiang외 1명|arXiv (Cornell University)|2018. 07. 25.

Adversarial Robustness in Machine Learning참고 문헌 1인용 수 10

한 줄 요약

이 논문은 리프시츠 상수가 이론적으로 강력한 적대적 로버스트성 보장을 가능하게 할 수 있지만, 현재의 계산 방법—특히 원자형 및 쌍층 접근 방식—은 근본적인 표현 한계를 지녀 실용적 효과를 제한한다고 보여준다. 저자들은 이러한 방법들이 특정 1-리프시츠 함수를 표현할 수 없어 유용하지 않은 경계를 초래하고 일반화 능력이 떨어지며, 더 강력한 인증된 로버스트성을 달성하기 위해 더 엄밀하고 표현력 있는 경계를 갖춘 통합 리프시츠 네트워크 개발을 주장한다.

ABSTRACT

Several recent papers have discussed utilizing Lipschitz constants to limit the susceptibility of neural networks to adversarial examples. We analyze recently proposed methods for computing the Lipschitz constant. We show that the Lipschitz constant may indeed enable adversarially robust neural networks. However, the methods currently employed for computing it suffer from theoretical and practical limitations. We argue that addressing this shortcoming is a promising direction for future research into certified adversarial defenses.

연구 동기 및 목표

• 딥 신경망 내에서 리프시츠 상수를 계산하는 기존 방법의 이론적 및 실용적 한계를 분석하는 것.
• 현재의 접근 방식—특히 원자형 및 쌍층 방법—이 특정 1-리프시츠 함수를 표현하지 못해 경계가 느슨해지는 이유를 보여주는 것.
• 이러한 표현적 한계가 더 강력한 인증된 적대적 로버스트성을 달성하는 데 핵심적인 장애물임을 주장하는 것.
• 현재의 한계를 극복하기 위해 장기적인 연구 방향으로 통합 리프시츠 네트워크의 개발을 제안하는 것.

제안 방법

• 논문은 Lp 노름을 사용하여 k-리프시츠 함수를 정의하고, c/2 이내의 입력에 대해 모든 동일 클래스 예제의 가장 가까운 이웃과의 거리 c에 대해 2/c-리프시츠 함수가 존재함을 증명한다.
• 원자형 리프시츠 상수 방법을 도입하여, 행렬 노름을 통해 개별 레이어의 리프시츠 상수를 조합한다.
• 모든 활성 ReLU 유닛 조합을 고려하여 경계를 계산하는 쌍층 접근 방식을 제안하며, 경계를 강화하기 위해 2차 프로그래밍을 사용한다.
• 모든 s ∈ {0,1}^d 에 대해 ||W₂ diag(s) W₁||_∞ 의 최댓값을 사용하여 원자형 방법보다 더 엄밀한 경계를 계산한다.
• 2층 ReLU 네트워크를 사용하여 원자형 및 쌍층 네트워크 가족(𝒜_k^p 및 𝒪_k^p)의 표현력을 비교한다.
• 경로 기여의 덧셈적 과대평가로 인해 심지어 쌍층 방법조차도 특정 1-리프시츠 함수를 엄밀하게 경계할 수 없음을 보여주는 반례를 구성한다.

실험 결과

연구 질문

• RQ1 기존의 딥 신경망 내 리프시츠 상수 계산 방법이 적대적 예측에 대해 엄밀하고 일반화 가능한 로버스트성 보장을 달성할 수 있는가?
• RQ2 강력한 이론적 기초를 지닌 현재의 리프시츠 기반 방어 기법이 왜 일반화되지 못하는가?
• RQ3 원자형 및 쌍층 리프시츠 계산 방법이 1-리프시츠 함수를 표현하는 데 있어 어떤 표현적 한계를 지니는가?
• RQ4 모든 k-리프시츠 함수를 엄밀하게 경계할 수 있는 더 표현력 있는 신경망 가족을 설계할 수 있는가?
• RQ5 엄밀하고 인증된 로버스트성을 갖춘 통합 리프시츠 네트워크를 구현하기 위해 어떤 구조적 또는 아키텍처적 변화가 필요한가?

주요 결과

• 이론적 분석을 통해 c는 서로 다른 클래스의 예제 간 최소 거리일 때, c/2 이내의 입력에 대해 모든 동일 클래스 예제의 가장 가까운 이웃과의 거리 c에 대해 2/c-리프시츠 함수가 존재함을 보여준다.
• 원자형 리프시츠 방법은 기울기 크기의 과대평가로 인해 비균일한 경로 기여가 필요한 특정 1-리프시츠 함수를 표현하지 못한다.
• 쌍층 방법은 원자형 방법보다 표현력을 향상시켜 원자형 방법이 표현할 수 없는 함수—예를 들어 그림 2의 ReLU 네트워크—를 표현할 수 있다.
• 개선된 점이 있음에도 불구하고, 쌍층 방법은 양의 경로 기여와 음의 경로 기여의 덧셈적 과대평가로 인해 진동하거나 비단조화적인 1-리프시츠 함수에 대해 여전히 느슨한 경계를 생성한다.
• 엄밀한 경계가 가능하더라도 모델 가족의 표현력이 제한되어 있음을 보여주며, 그림 4에서 𝒪_k^∞ 가 특정 1-리프시츠 함수를 표현하지 못함을 입증한다.
• 저자들은 현재 방법들이 과적합이 아니라 부족한 표현 능력으로 인해 문제가 있음을 결론 내리며, 최적화가 아니라 표현 능력이 핵심적인 장애물임을 시사한다.