[논문 리뷰] Retrieval-Augmented Convolutional Neural Networks for Improved Robustness against Adversarial Examples

Jake Zhao, Kyunghyun Cho|arXiv (Cornell University)|2018. 02. 26.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 10

한 줄 요약

이 논문은 사전 훈련된 검색 엔진과 깊은 CNN을 결합하여 적대적 예제에 대한 강건성을 향상시키는 Retrieval-Augmented Convolutional Neural Networks (RaCNN)를 제안한다. 입력을 검색된 근접 이웃들의 특징 공간 볼록 hull에 투영하고, 局소 mixup를 사용하여 국소 선형성을 강제함으로써 RaCNN은 순수한 CNN보다 CIFAR-10, SVHN, ImageNet에서 특히 블랙박스 공격에 대해 탁월한 강건성을 확보한다.

ABSTRACT

We propose a retrieval-augmented convolutional network and propose to train it with local mixup, a novel variant of the recently proposed mixup algorithm. The proposed hybrid architecture combining a convolutional network and an off-the-shelf retrieval engine was designed to mitigate the adverse effect of off-manifold adversarial examples, while the proposed local mixup addresses on-manifold ones by explicitly encouraging the classifier to locally behave linearly on the data manifold. Our evaluation of the proposed approach against five readily-available adversarial attacks on three datasets--CIFAR-10, SVHN and ImageNet--demonstrate the improved robustness compared to the vanilla convolutional network.

연구 동기 및 목표

• 기존 방어 기법이 동시에 다루지 못하는 이질적 영역(Off-manifold) 및 데이터 다양체 상의 적대적 예제를 모두 다루기.
• 특히 블랙박스 공격이 흔한 클라우드 기반 시스템과 같은 실제 배포 환경에서 분류기의 강건성을 향상시키기.
• 재훈련이나 아키텍처 전반적인 수정 없이도, 상용 검색 엔진을 활용해 데이터 다양체를 국소적으로 근사하기.
• 데이터 다양체 상에서 국소 선형성을 강제하는 훈련 전략을 개발하여 다양체 상의 적대적 예제를 완화하기.
• 검색 세트 크기와 계산 비용을 조절하여 강건성 향상와 일반화 성능 사이의 균형을 유지하기.

제안 방법

• 입력 x와 D′ 내 후보 예제 간의 L2 거리를 계산하기 위해 사전 훈련된 특징 추출기 φ′를 사용하여, 상용 엔진 F를 통해 효율적인 검색을 가능하게 한다.
• 거리 k(x,x′) = ||φ′(x)−φ′(x′)||²를 사용해 K개의 근접 이웃 F(x)를 검색하고, 이들의 특징 공간 볼록 hull C(F(x))를 구성하여 데이터 다양체의 국소 근사로 활용한다.
• 입력 x를 볼록 hull C(F(x))에 투영하기 위해 주의 기반 투영 메커니즘을 적용하며, 학습 가능한 가중치 βk를 사용해 정확한 투영을 근사한다.
• 국소 mixup를 도입—검색된 볼록 hull 내에서만 보간을 생성하는 mixup의 변종으로, 다양체 상에서 분류기 g의 국소 선형성을 장려한다.
• cross-entropy 손실에 국소 mixup 정규화를 적용하여 CNN (φ, g)와 검색 기반 투영을 함께 훈련한다.
• 훈련 중에 주의 기반 특징 정렬을 통해 적응하는 Differentiable, 목표 지향적 구성 요소로서 검색 엔진 F를 활용한다.

실험 결과

연구 질문

• RQ1 검색 기반 보강 아키텍처가 이질적 영역 및 다양체 상의 적대적 예제를 동시에 개선할 수 있는가?
• RQ2 검색된 이웃들의 특징 공간 볼록 hull 내에서 적용된 국소 mixup가 다양체 상의 국소 선형성과 강건성을 어떻게 향상시키는가?
• RQ3 검색 엔진의 강건성이 RaCNN의 전체적인 적대적 강건성에 어느 정도 영향을 미치는가?
• RQ4 RaCNN은 다양한 크기의 데이터셋에서 화이트박스 및 블랙박스 공격을 포함한 다양한 공격 유형에 대해 어떻게 성능을 발휘하는가?
• RQ5 검색된 이웃 수와 같은 하이퍼파라미터를 통해 강건성과 정상 정확도 사이의 트레이드오���을 제어할 수 있는가?

주요 결과

• RaCNN은 CIFAR-10, SVHN, ImageNet에서 FGSM, iFGSM, DeepFool, L-BFGS, Boundary의 다섯 가지 공격에 대해 순수한 컨volutional 네트워크보다 강건성을 높였다.
• 특히 블랙박스, 의사결정 기반 Boundary 공격에 대해 뛰어난 내성성을 보이며, 클라우드 기반 배포에 매우 유망한 잠재력을 보였다.
• L-BFGS 공격 하에서 강건성 저하가 관찰되어, 강력한 화이트박스 최적화기조차도 여전히 모델의 취약점을 악용할 수 있음을 시사했다.
• 고노이즈 적대적 변형 조건에서도 검색 엔진이 검색 결과의 의미적 일관성을 유지했다 (예: 물고기 이미지가 여전히 물고기로 검색됨), 이는 입력 변형에 대한 강건성을 시사했다.
• RaCNN의 성능은 특징 추출기 φ′의 선택에 민감하다; 원시 픽셀을 사용할 경우 (φ′(x)=x) 강건성은 증가하지만 정상 정확도는 감소할 수 있다.
• 검색된 이웃의 수를 조절함으로써 강건성과 정상 정확도 사이의 트레이드오프를 제어할 수 있어, 제어 가능한 배포 전략을 제공한다.