[논문 리뷰] Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework

Dinghuai Zhang, Mao Ye외 3명|arXiv (Cornell University)|2020. 02. 21.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 21

한 줄 요약

이 논문은 비가우시안 스무딩 분포를 사용하여 블랙박스 적대적 검증을 위한 기능 최적화 프레임워크를 제안하며, ℓ₁, ℓ₂, ℓ∞ 공격에 대해 향상된 내성적 검증을 가능하게 한다. 분포 설계를 통해 정확도와 내성성의 상호보완적 관계를 재고함으로써, CIFAR-10 및 ImageNet에서 이전의 가우시안 기반 접근 방식보다 더 날카운 검증 범위를 달성한다.

ABSTRACT

Randomized classifiers have been shown to provide a promising approach for achieving certified robustness against adversarial attacks in deep learning. However, most existing methods only leverage Gaussian smoothing noise and only work for $\ell_2$ perturbation. We propose a general framework of adversarial certification with non-Gaussian noise and for more general types of attacks, from a unified functional optimization perspective. Our new framework allows us to identify a key trade-off between accuracy and robustness via designing smoothing distributions, helping to design new families of non-Gaussian smoothing distributions that work more efficiently for different $\ell_p$ settings, including $\ell_1$, $\ell_2$ and $\ell_\infty$ attacks. Our proposed methods achieve better certification results than previous works and provide a new perspective on randomized smoothing certification.

연구 동기 및 목표

• 기존의 랜덤화 스무딩 방법이 유일하게 가우시안 노이즈에 의존하고 고차원 공간에서 최적화되지 않는 한계를 해결하기 위해.
• 비가우시안 스무딩 분포와 일반적인 ℓp-노름 공격을 지원하는 통합된 프레임워크를 개발하기 위해.
• 기능 최적화를 통해 정확도-내성성 상호보완적 관계를 식별하고 활용하여 더 나은 스무딩 분포를 설계하기 위해.
• 가우시안 스무딩의 한계를 초월하여 ℓ₁, ℓ₂, ℓ∞ 공격 설정에서 검증 성능을 향상시키기 위해.

제안 방법

• 블랙박스 검증을 기능 최적화 문제로 재정의함으로써, 이전의 방법들(9 및 14번 논문)을 특수한 경우로 통합한다.
• 정확도와 내성성을 균형 잡는 스무딩 분포를 최적화하는 새로운 프레임워크를 도입하며, Eq. (9)를 통한 상호보완적 관계의 분해를 활용한다.
• 라그랑주 승수 기법과 f-분산 기반의 경계를 사용하여 검증을 위한 필수 및 충분 조건을 유도한다.
• 중심 쪽으로 더 집중된 비가우시안 스무딩 분포의 새로운 가족을 제안하여, ℓ₁, ℓ₂, ℓ∞ 설정에서 성능을 향상시킨다.
• 대규모 모델에 대한 실용적 구현을 가능하게 하는 효율적인 계산 방법을 개발한다.
• ℓ∞ 적대자에 대해 ℓ₂ 및 ℓ∞ 노름 기반의 혼합 분포를 제안하며, 이는 이전에 탐색되지 않은 새로운 접근 방식이다.

실험 결과

연구 질문

• RQ1 기능 최적화 프레임워크는 일반적인 ℓp-노름 공격에 대해 가우시안 스무딩을 초월하여 적대적 검증을 향상시킬 수 있는가?
• RQ2 정확도-내성성 상호보완적 관계는 고차원 공간에서 어떻게 나타나며, 이를 더 나은 스무딩 분포 설계에 활용할 수 있는가?
• RQ3 비가우시안 스무딩 분포는 ℓ₁, ℓ₂, ℓ∞ 내성적 검증에서 가우시안 분포를 능가할 수 있는가?
• RQ4 기능 최적화 관점에서 유도할 수 있는 새로운 스무딩 분포는 무엇이며, 검증 성능 향상에 어떻게 기여하는가?
• RQ5 스무딩 분포에 ℓ₂ 및 ℓ∞ 노름을 조합함으로써 ℓ∞ 적대자에 대한 내성성이 향상되는가?

주요 결과

• 제안된 프레임워크는 CIFAR-10 및 ImageNet에서 ℓ₁, ℓ₂, ℓ∞ 공격에 대해 이전의 연구들보다 더 나은 검증 결과를 달성한다.
• 기능 최적화 프레임워크를 통해 설계된 비가우시안 스무딩 분포는 특히 고차원 설정에서 가우시안 스무딩을 능가한다.
• 프레임워크는 정확도와 내성성 간의 핵심 상호보완적 관계를 식별하며, 이를 분포 설계를 통해 체계적으로 활용할 수 있다.
• ℓ₂ 및 ℓ∞ 노름을 조합한 새로운 스무딩 분포는 ℓ∞ 적대자에 대해 경험적 검증 성능을 향상시키며, 이는 이전에 탐색되지 않은 방향이다.
• 이전의 접근 방식보다 더 날카운 검증 경계를 제공하며, 특히 많은 클래스를 가진 다중 클래스 설정에서 두드러진다.
• 경험적 결과는 새로운 분포가 다양한 ℓp-노름에서 내성성과 정확도를 균형 잡는 데 있어 가우시안 노이즈보다 더 효율적이고 효과적임을 확인한다.