[논문 리뷰] Adversarial Defense by Stratified Convolutional Sparse Coding

Bo Sun, Nian-hsuan Tsai외 3명|arXiv (Cornell University)|2018. 11. 30.

Adversarial Robustness in Machine Learning참고 문헌 53인용 수 5

한 줄 요약

이 논문은 입력을 저차원의 준자연 이미지 공간으로 투영함으로써 정상 예제와 적대적 예제가 특징 공간에서 가까워지도록 하는, 공격에 강인한 새로운 적대적 방어 기법을 제안한다. 이 방법은 효율적인 투영을 위한 스퍼스 변환 레이어(Sparse Transformation Layer, STL)를 도입하여 다양한 변형 스케일, 입력 해상도, 데이터셋 크기에서 최신 기술 수준의 강건성을 달성한다. 기존의 입력 변환 기반 방어 기법보다 정확도와 이미지 품질 유지 측면에서 뛰어나다.

ABSTRACT

We propose an adversarial defense method that achieves state-of-the-art performance among attack-agnostic adversarial defense methods while also maintaining robustness to input resolution, scale of adversarial perturbation, and scale of dataset size. Based on convolutional sparse coding, we construct a stratified low-dimensional quasi-natural image space that faithfully approximates the natural image space while also removing adversarial perturbations. We introduce a novel Sparse Transformation Layer (STL) in between the input image and the first layer of the neural network to efficiently project images into our quasi-natural image space. Our experiments show state-of-the-art performance of our method compared to other attack-agnostic adversarial defense methods in various adversarial settings.

연구 동기 및 목표

• 다양한 입력 해상도, 변형 스케일, 데이터셋 크기에서 강건성을 유지하는 공격 및 모델에 강인한 방어 기법을 개발하는 것.
• 자연 이미지 다양체를 충실하게 근사하면서도 적대적 변형을 제거하는 저차원 준자연 이미지 공간을 구축하는 것.
• 분류 전에 입력을 준자연 이미지 공간으로 투영하는 효율적이고 미분 가능한 스퍼스 변환 레이어(STL)를 설계하는 것.
• 기존의 입력 변환 기반 방어 기법 대비 이미지 세부 정보 유지와 적대적 변형 제거 사이의 균형을 향상시키는 것.
• 다양한 적대적 공격 하에서 CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 비지도 컨volutional 딕셔너리 학습을 통해 준자연 이미지 다양체를 저차원 공간에서 근사함으로써 준자연 이미지 공간을 구축한다.
• 학습된 컨volutional 딕셔너리를 사용한 스퍼스 코딩을 통해 입력 이미지를 준자연 이미지 공간으로 투영하는 새로운 스퍼스 변환 레이어(STL)를 도입한다.
• STL은 입력과 첫 번째 네트워크 레이어 사이에 위치하는 미분 가능한 엔드 투 엔드 레이어로서, 분류기와 함께 공동 학습이 가능하다.
• 이 방어 기법은 적대적 예제와 그 정상 예제가 준자연 이미지 공간으로 투영된 후 특징 공간에서 더 가까워지는 성질을 활용한다.
• 분류기의 강건성을 추가로 향상시키기 위해 투영된 준자연 이미지 공간에 대해 분류기를 피지터닝한다.
• 이미지 복원 품질과 강건성 사이의 트레이드오프를 제어하기 위해 스퍼스 제약 가중치 $\lambda$를 사용한다.

실험 결과

연구 질문

• RQ1 공격에 강인하고 모델에 간섭하지 않는 방어 기법이 다양한 적대적 공격에서 최신 기술 수준의 강건성을 달성할 수 있는가?
• RQ2 자연 이미지의 구조를 유지하면서도 적대적 변형을 제거할 수 있는 저차원 준자연 이미지 공간을 구성할 수 있는가?
• RQ3 미분 가능한 스퍼스 변환 레이어(STL)가 모델 재학습 없이도 준자연 이미지 공간으로 효과적이고 효율적인 투영을 가능하게 하는가?
• RQ4 기존의 입력 변환 기반 방어 기법과 비교해 본다면, 제안된 방법은 이미지 품질과 강건성의 균형에서 어떤가?
• RQ5 이 방어 기법은 다양한 입력 해상도, 변형 크기, 대규모 데이터셋에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 다양한 공격 하에서 ImageNet에서 최신 기술 수준의 정확도를 확보한다. 특히 FGSM-0.08(0.8654), BIM(0.7332), CW(0.7212)에서 기존의 공격에 강인한 방어 기법을 뛰어넘는 성능을 보였다.
• CIFAR-10에서 FGSM-0.08 하에 0.8654의 top-1 정확도를 기록했으며, 이는 이어지는 최고 성능 기법(TVM, 0.8591)을 초월했고, Quilting(0.8149)과 Crop-Ens(0.7730)와 비교해도 뚜렷한 우월성을 보였다.
• 이미지 품질과 방어 성능 사이의 트레이드오프에서 뛰어난 강건성을 보이며, 기존 방법들과 비교해 가장 높은 PSNR와 유리한 예측 정확도 간격을 확보했다.
• 다양한 입력 해상도와 변형 스케일에서도 높은 강건성을 유지하며, STL 방어 기법을 사용할 경우 기존 ResNet-50 모델의 정확도가 FGSM-0.08에 대해 0.61 이상, CW에 대해 0.63 이상 유지되었다.
• 청정 이미지와 적대적 이미지의 예측 정확도 간격이 제안된 방법에서 최소화되어, 변환 후 특징 공간에서 청정 이미지와 적대적 이미지가 일관되게 가까워지는 것으로 나타났다.
• 절단 분석 결과, 스퍼스 제약 가중치 $\lambda$를 증가시킬수록 강건성이 향상되지만 이미지 품질이 저하됨을 확인했으며, 최적의 $\lambda$는 두 성능 지표를 효과적으로 균형 잡는 데 기여했다.