[논문 리뷰] Adversarially Robust Few-Shot Learning: A Meta-Learning Approach

Micah Goldblum, Liam Fowl외 1명|arXiv (Cornell University)|2019. 10. 02.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 42

한 줄 요약

본 논문은 Adversarial Querying (AQ)를 소개하는데, 이는 알고리즘-불변의 메타학습 방법으로, 적대적 공격에 강건한 few-shot 모델을 생성하고 표준 벤치마크에서 견고한 전이 학습보다 우수한 성능을 보인다.

ABSTRACT

Previous work on adversarially robust neural networks for image classification requires large training sets and computationally expensive training procedures. On the other hand, few-shot learning methods are highly vulnerable to adversarial examples. The goal of our work is to produce networks which both perform well at few-shot classification tasks and are simultaneously robust to adversarial examples. We develop an algorithm, called Adversarial Querying (AQ), for producing adversarially robust meta-learners, and we thoroughly investigate the causes for adversarial vulnerability. Moreover, our method achieves far superior robust performance on few-shot image classification tasks, such as Mini-ImageNet and CIFAR-FS, than robust transfer learning.

연구 동기 및 목표

• 소수-shot 학습 설정에서 강건성의 필요성을 동기부여한다.
• few-shot 작업을 위한 적대적으로 강건한 특징 추출기를 생성하는 메타학습 프레임워크를 개발한다.
• 적대적 querying (AQ)가 기존 방어책에 비해 더 우수한 강건성 및 깨끗한 정확도를 보임을 입증한다.
• backbone을 고정하고 마지막 계층만 재학습시키는 것이 강건성을 향상시킨다는 것을 보여준다.
• 다수의 메타학습 백본과 데이터셋에서 알고리즘-불변의 근거를 제공한다.

제안 방법

• 메타학습을 위한 minimax 목적식을 형식화한다: min_theta E_{S,(x,y)} [ max_{||δ||_p<ε} L(F_{A(θ,S)}, x+δ, y) ].
• 적대적 querying (AQ)를 제안한다: 지원 데이터로의 재학습과 쿼리 데이터에 대한 손실 극대화를 번갈아 수행하고 A를 통해 역전파한다.
• AQ 동안 쿼리 데이터만 공격하여 강건성 이득과 계산 효율성의 균형을 맞춘다.
• AQ를 CIFAR-FS와 Mini-ImageNet에서 ProtoNet, R2-D2, 및 MetaOptNet에 대해 테스트한다.
• AQ를 적대적 학습 전이 학습 및 다른 방어책과 비교하여 강건성 이득을 보인다.
• backbone과 head의 선택이 강건성에 미치는 영향을 검토하고, 고정된 backbone에 마지막 레이어 재학습을 사용하는 것이 성능을 향상시킨다는 것을 보인다.

실험 결과

연구 질문

• RQ1 AQ가 소-shot 설정에서 강력한 적대적 공격에 강한 메타-학습자를 생산할 수 있는가?
• RQ2 AQ가 메타학습 백본에 대해 알고리즘에 독립적인가, 강건성은 head인지 backbone에 더 의존하는가?
• RQ3 AQ가 소-shot 강건성에서 적대적 학습 및 전처리 방어책과 비교하여 어떤 차이가 있는가?
• RQ4 마지막 계층만 재학습하는 것이 자연 정확도 및 강건 정확도에 어떤 영향을 미치는가?
• RQ5 AQ를 통해 학습된 강건 특징 추출기가 강건하게 학습된 전이 학습보다 더 나은 전이성을 보이는가?

주요 결과

모델	A_nat	A_adv
Naturally Trained R2-D2	73.01% ± 0.13	0.00% ± 0.13
AT transfer (R2-D2 backbone)	39.13% ± 0.13	25.33% ± 0.13
ADML	47.75% ± 0.13	18.49% ± 0.13
AQ R2-D2 (ours)	57.87% ± 0.13	31.52% ± 0.13

• AQ 기반 메타-학습자는 Mini-ImageNet 및 CIFAR-FS에서 강건 정확도와 자연 정확도 측면에서 강건한 전이 학습보다 더 높은 성능을 보인다.
• 자연스럽게 학습된 메타-학습자는 20-스텝 PGD 공격에 매우 취약하지만, AQ는 여러 백본에서 강건성을 크게 향상시킨다.
• AQ 기간 동안 지원 데이터를 perturb하는 대신 쿼리 데이터만 공격하는 것이, 지원 데이터를扰扰하는 것보다 계산 비용이 낮으면서도 강건성 이득을 제공한다.
• Fine-tuning 시 마지막 계층만 재학습하는 것이 네트워크 전체를 업데이트하는 것보다 자연 및 강건 정확도 면에서 더 나은 결과를 낳는다.
• R2-D2 헤드가 AQ 모델 전반에서 임베딩보다 강건성에 현저히 기여한다.
• AQ는 테스트된 데이터셋과 백본에서 적대적 학습 전이 학습보다 강건성 면에서 더 우수하다.