[논문 리뷰] MeanSparse: Post-Training Robustness Enhancement Through Mean-Centered Feature Sparsification

Sajjad Amini, Mohammadreza Teymoorianfard외 2명|arXiv (Cornell University)|2024. 06. 09.

Machine Learning and Data Classification인용 수 4

한 줄 요약

MeanSparse는 정규화된 특징 활성화를 희소화하여 사전 훈련된 ConvNets의 적대적 로버스트성을 향상시킨다. 비로버스트 특징 분산을 줄이되, 청소된 정확도는 떨어뜨리지 않으며, CIFAR-10(72.08% AutoAttack 정확도)과 ImageNet-1K(59.64%)에서 새로운 SOTA를 수립한다. 추론 비용은 최소한이다.

ABSTRACT

We present a simple yet effective method to improve the robustness of both Convolutional and attention-based Neural Networks against adversarial examples by post-processing an adversarially trained model. Our technique, MeanSparse, cascades the activation functions of a trained model with novel operators that sparsify mean-centered feature vectors. This is equivalent to reducing feature variations around the mean, and we show that such reduced variations merely affect the model's utility, yet they strongly attenuate the adversarial perturbations and decrease the attacker's success rate. Our experiments show that, when applied to the top models in the RobustBench leaderboard, MeanSparse achieves a new robustness record of 75.28% (from 73.71%), 44.78% (from 42.67%) and 62.12% (from 59.56%) on CIFAR-10, CIFAR-100 and ImageNet, respectively, in terms of AutoAttack accuracy. Code is available at https://github.com/SPIN-UMass/MeanSparse

연구 동기 및 목표

• 재훈련 없이 적대적 훈련된 CNN의 로버스트성을 향상시키기 위해.
• 적대적 훈련 모델에서 비로버스트 특징이 여전히 지속되는 문제를 해결하기 위해.
• 적대적 로버스트성과의 보완 경로로서 활성화 함수 설계를 탐색하기 위해.
• 재훈련이나 아키텍처 변경 없이, 정확도 비용을 거의 들이지 않는 후처리 플러그 앤 플레이 방법을 개발하기 위해.

제안 방법

• 훈련 세트에 대해 평균을 뺀 후 특징 맵에 희소화 연산자를 적용하는 평균 기반 희소화를 도입한다.
• 특징 값이 평균 주변의 범위(α)에 속할 경우 0으로 설정하는 하이퍼파라미터 α를 사용하여, 높은 확률이지만 정보가 적은 변동성을 차단한다.
• 사전 훈련된 모델의 각 합성곱 블록 뒤에 미분 가능하고 학습 가능한 활성화 유사 레이어로 희소화 연산자를 적용한다.
• 희소화를 계산하기 위해 프록시멀 연산자 공식을 사용하여 ℓ₀ 유사 정규화를 최소화하면서도 로버스트성을 유지한다.
• 적대적 훈련 이후 적용되며, 재훈련이나 아키텍처 변경이 필요 없다.
• 훈련 세트에서 추정한 채널별 평균과 표준편차를 사용하여 희소화 임계값을 계산한다.

실험 결과

연구 질문

• RQ1 후처리 설정에서 평균 중심 특징을 희소화하면 적대적 로버스트성이 향상되는가?
• RQ2 이 방법은 다양한 활성화 함수와 모델 아키텍처에 일반화되는가?
• RQ3 평균 중심 희소화가 비로버스트 특징의 영향을 줄이되, 청소된 정확도를 떨어뜨리지 않는가?
• RQ4 이 방법은 다양한 공격 유형(ℓ∞, ℓ2)과 적대적 훈련 방법에 대해 어떻게 성능을 발휘하는가?
• RQ5 성능 향상의 원인은 평균 중심화에 기인한 것인가, 아니면 희소화 메커니즘 자체에 기인한 것인가?

주요 결과

• MeanSparse를 최상위 RobustBench 모델에 적용했을 때, CIFAR-10의 AutoAttack 정확도를 71.07%에서 72.08%로 향상시켜 새로운 SOTA를 달성했다.
• ImageNet-1K에서는 세 번째로 높은 순위의 모델의 AutoAttack 정확도를 59.56%에서 59.64%로 끌어올려 첫 번째 순위 모델을 초월했다.
• 청소된 정확도는 CIFAR-10에서 93.27%에서 93.24%로 거의 변화하지 않아, 유틸리티 비용이 극히 낮음을 시사한다.
• 다양한 활성화 함수(ReLU, Swish 포함)에 대해 효과적이며, 로버스트성이 활성화 함수 선택에 의존하지 않음을 보여준다.
• MeanSparse는 ℓ∞ 및 ℓ2 공격 모두에 대해 로버스트성을 향상시키며, 모델이 ℓ∞ 로버스트성 전용으로만 훈련된 경우에도 효과를 발휘한다.
• 채널별 평균과 분산 추정에 민감하며, 전역 통계는 동일한 성능 향상을 제공하지 못한다.