[논문 리뷰] Improved, Deterministic Smoothing for L_1 Certified Robustness

Alexander Levine, Soheil Feizi|arXiv (Cornell University)|2021. 03. 17.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 8

한 줄 요약

이 논문은 딥러닝에서 ℓ₁ 인식 불안정성에 대한 결정론적, 비가산적 정규화 방법인 분할 노이즈를 사용한 결정론적 스무딩(DSSN)을 소개한다. 독립적인 가감 노이즈가 아닌 구조적 입력 공간 분할을 활용함으로써, CIFAR-10 및 ImageNet에서 이전의 랜덤 스무딩 방법보다 훨씬 큰 정규화 인증 결과를 달성하면서도, 확률적 실패율이 없는 더 빠르고 정확한 인증을 가능하게 한다.

ABSTRACT

Randomized smoothing is a general technique for computing sample-dependent robustness guarantees against adversarial attacks for deep classifiers. Prior works on randomized smoothing against L_1 adversarial attacks use additive smoothing noise and provide probabilistic robustness guarantees. In this work, we propose a non-additive and deterministic smoothing method, Deterministic Smoothing with Splitting Noise (DSSN). To develop DSSN, we first develop SSN, a randomized method which involves generating each noisy smoothing sample by first randomly splitting the input space and then returning a representation of the center of the subdivision occupied by the input sample. In contrast to uniform additive smoothing, the SSN certification does not require the random noise components used to be independent. Thus, smoothing can be done effectively in just one dimension and can therefore be efficiently derandomized for quantized data (e.g., images). To the best of our knowledge, this is the first work to provide deterministic "randomized smoothing" for a norm-based adversarial threat model while allowing for an arbitrary classifier (i.e., a deep model) to be used as a base classifier and without requiring an exponential number of smoothing samples. On CIFAR-10 and ImageNet datasets, we provide substantially larger L_1 robustness certificates compared to prior works, establishing a new state-of-the-art. The determinism of our method also leads to significantly faster certificate computation. Code is available at: https://github.com/alevine0/smoothingSplittingNoise

연구 동기 및 목표

• 딥러닝에서 ℓ₁ 적대적 위협에 대한 확장 가능하고 결정론적인 인증 정규화의 부족을 해결한다.
• 독립적인 가감 노이즈에 의존하고 확률적 보장을 제공하기만 하는 이전의 랜덤 스무딩 방법의 한계를 극복한다.
• 스무딩 과정에서의 무작위성을 제거하여 양자화된 데이터(예: 이미지)에 대해 효율적이고 정확한 인증을 가능하게 한다.
• 기존 최신 기술 수준의 방법보다 더 큰 ℓ₁ 정규화 인증 결과를 달성하면서도, 임의의 딥 기반 분류기와의 호환성을 유지한다.
• 구조적 분할 노이즈를 통한 무작위성 제거가 더 높은 정규화 수준과 더 빠른 인증 계산 시간을 동시에 가능하게 한다.

제안 방법

• 각 노이즈 샘플이 입력 공간을 무작위로 분할하고, 입력가 포함된 파artition의 중심을 반환하는 방식으로 생성되는 랜덤 스무딩 방법인 분할 노이즈(SSN)를 제안한다.
• 랜덤 분할을 고정된 구조적 분할 방식으로 대체하여 무작위성을 제거한 결정론적 변형인 DSSN을 설계한다.
• SSN이 독립적인 노이즈 성분을 필요로 하지 않는다는 사실을 활용하여, 1차원에서 효과적인 스무딩을 가능하게 하고 무작위성 제거를 단순화한다.
• SSN의 균일 분포를 이용해 가감 노이즈와의 닫힌 형태의 관계를 유도함으로써 이론적 비교 및 검증을 가능하게 한다.
• 청결한 정확도와 정규화 수준을 향상시키기 위해 안정성 훈련을 적용하지만, DSSN에 비해 가감 스무딩에 비해 수익 감소 효과를 보인다.
• 학습 및 추론 중 모델 성능을 유지하기 위해 미분 가능하고 학습 가능한 분할 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 비가산적, 결정론적 스무딩 방법이 기존의 랜덤 스무딩 접근법보다 더 높은 ℓ₁ 인증 정규화 성능을 달성할 수 있는가?
• RQ2 스무딩 과정의 무작위성 제거가 더 큰 정규화 인증 결과와 더 빠른 인증 시간을 동시에 가져오는가?
• RQ3 구조적 분할 노이즈가 ℓ₁ 노름 기준으로 균일 가감 노이즈보다 더 높은 인증 정확도를 달성할 수 있는가?
• RQ4 노이즈 표현 방식(가감 대비 분할 기반)의 선택이, 특히 높은 노이즈 수준에서 인증 성능에 얼마나 큰 영향을 미치는가?
• RQ5 노이즈 제거 기법이나 안정성 훈련을 사용할 경우, 가감 노이즈와 분할 기반 노이즈 간의 성능 격차가 유지되는가?

주요 결과

• DSSN은 CIFAR-10에서 최신 기술 수준의 인증 정확도를 달성하며, 모든 테스트된 ℓ₁ 반경 ρ에서 기존 방법을 능가한다. ρ=0.5일 때 72.25%의 정확도, ρ=4.0일 때 33.64%의 정확도를 기록한다.
• ImageNet에서는 모든 테스트 노이즈 수준에서 뛰어난 정규화 성능를 보이며, σ=3.5일 때 ρ=3.5에서 65.40%의 인증 정확도를 달성하여 가감 스무딩 방법을 초월한다.
• DSSN의 결정론적 성격 덕분에 확률적 실패율이 없는 정확한, 비확률적 인증이 가능해졌으며, 이는 랜덤 스무딩의 본질적 결함을 제거한다.
• 중간 수준의 노이즈에서 DSSN의 성능 향상은 주로 무작위성 제거로 인한 것으로, 랜덤 SSN 대비 추정 오차 감소 때문이었다.
• 고수준의 노이즈에서 DSSN과 가감 스무딩 간의 성능 격차는 주로 구조적 노이즈 표현 덕분에 기반 분류기의 일반화 능력 향상 때문이었다.
• 안정성 훈련은 DSSN에 비해 가감 스무딩에 비해 더 적은 이점을 제공하며, 일부 경우에서는 청결한 정확도를 약간 감소시키는 경향이 있어 최적화 동역학이 다름을 시사한다.