[논문 리뷰] DISCO: Adversarial Defense with Local Implicit Functions

Chih-Hui Ho, Nuno Vasconcelos|arXiv (Cornell University)|2022. 12. 11.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

DISCO는 깊이 특징에 조건화된 국소 패치 통계를 모델링하여 적대적 편향을 자연 이미지 다양체로 다시 투영하기 위해 국소 암묵 함수를 사용하는 새로운 적대적 방어 기법을 제안한다. 이는 여러 데이터셋과 공격에 걸쳐 이전의 방어 기법들을 능가하며, 높은 데이터 및 파rameter 효율성과 함께 전역 생성 모델에 비해 국소적이고 경량화된 모델링 덕분에 빠른 추론을 구현한다.

ABSTRACT

The problem of adversarial defenses for image classification, where the goal is to robustify a classifier against adversarial examples, is considered. Inspired by the hypothesis that these examples lie beyond the natural image manifold, a novel aDversarIal defenSe with local impliCit functiOns (DISCO) is proposed to remove adversarial perturbations by localized manifold projections. DISCO consumes an adversarial image and a query pixel location and outputs a clean RGB value at the location. It is implemented with an encoder and a local implicit module, where the former produces per-pixel deep features and the latter uses the features in the neighborhood of query pixel for predicting the clean RGB value. Extensive experiments demonstrate that both DISCO and its cascade version outperform prior defenses, regardless of whether the defense is known to the attacker. DISCO is also shown to be data and parameter efficient and to mount defenses that transfers across datasets, classifiers and attacks.

연구 동기 및 목표

• 자연 이미지 다양체 외부에 위치한 눈에 띄지 않는 적대적 편향으로 인한 딥 네URAL 네트워크의 취약성을 해결하기 위해.
• 대규모 데이터셋과 모델이 필요로 하며 쉽게 무너지는 전역 생성 모델의 한계를 극복하기 위해.
• 백색 상자 및 검은 상자 설정에서도 다양한 공격, 데이터셋, 분류기 간에 강건한 방어를 제공하기 위해.
• 깊이 특징에 조건화된 암묵 함수를 활용한 국소적이고 효율적인 다양체 투영을 실현하여 데이터 및 파rameter 요구량을 최소화하기 위해.

제안 방법

• DISCO는 적대적 이미지에서 각 픽셀 특징을 추출하기 위해 깊이 잔차 인코더를 사용하는 이중 단계 아키텍처를 사용한다.
• 국소 암묵 함수는 쿼리 픽셀과 그 이웃의 특징을 입력으로 받아 해당 위치의 깨끗한 RGB 값을 예측한다.
• 암묵 함수는 예측된 깨끗한 픽셀 값과 진짜 값 간의 차이를 최소화하기 위해 L1 손실로 훈련된다.
• 전체 이미지 재구성 대신 각 픽셀마다 국소적 다양체 투영을 수행함으로써 모델링을 단순화하고 정밀도를 향상시킨다.
• 방어는 국소 패치 통계의 조건부 모델로 구현되어 최소한의 파rameter 및 데이터 오버헤드로 강건성을 달성한다.
• 다중 정밀화 단계를 적용하는 캐스케이드 버전(K=2에서 5까지)은 추가로 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지 패치 통계에 대한 국소적이고 암묵적인 모델링이 전역 생성 모델에 비해 더 강건하고 효율적인 대안이 될 수 있는가?
• RQ2 국소 다양체 투영에 기반한 방어가 백색 상자 및 검은 상자 공격 상황 모두에서 기존의 방어 기법을 능가하는가?
• RQ3 경량화된 암묵 함수 기반 방어가 다양한 데이터셋, 분류기, 공격 유형 간에 일반화 가능한가?
• RQ4 캐스케이드 아키텍처에서 정밀화 단계 수(K)가 증가함에 따라 DISCO의 성능은 어떻게 변화하는가?
• RQ5 기존 방법에 비해 최소한의 데이터 및 파rameter 요구량으로 DISCO는 어느 정도의 강건성을 달성할 수 있는가?

주요 결과

• DISCO는 ImageNet, CIFAR-10, CIFAR-100에서 백색 상자 및 검은 상자 공격 모두에 대해 모든 이전 방어 기법을 능가한다. 전이 공격까지 포함하여.
• AutoAttack 하에서 ImageNet에서의 강건성 정확도가 85.2%에 달하며, 이는 이전 최고 수준의 방어 기법을 초월한다.
• 단일 정밀화 단계(K=1)에서도 강력한 강건성을 확보함으로써 전역 이미지 모델링이 필수적인 것은 아님을 입증한다.
• ImageNet에서 DISCO의 추론 시간은 STL보다 800배 이상 빠르며(0.027s 대 23.71s), 높은 효율성을 보여준다.
• 공격자가 방어 방식을 모를 경우에도 전이 가능한 강건성을 유지하며, 다양한 데이터셋과 분류기 간에 일반화된다.
• ImageNet에서 단지 3 에포크의 훈련과 최소한의 데이터로도 높은 성능을 유지함으로써 데이터 및 파rameter 효율성을 입증한다.