[논문 리뷰] Attribute-Guided Adversarial Training for Robustness to Natural Perturbations

Tejas Gokhale, Rushil Anirudh외 4명|arXiv (Cornell University)|2020. 12. 03.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 기존의 픽셀 수준의 노름 유계 변형에 국한되지 않고, 객체 위치, 형태 또는 기하학적 변환과 같은 의미적 속성 공간에서의 적대적 변형을 생성함으로써 모델의 일반화 능력을 향상시키는 새로운 강건한 딥러닝 방법인 속성 유도 적대적 훈련(AGAT)을 제안한다. AGAT는 MNIST-RTS, CIFAR10-C 및 새로운 CLEVR-Singles 벤치마크에서 최고 수준의 강건성을 달성하여, 표준 ℓp-노름 경계에 의해 포괄되지 않는 자연스럽고 의미를 유지하는 변형을 다룰 때 테스트 도메인 데이터가 필요 없이도 이전 방법들을 능가한다.

ABSTRACT

While existing work in robust deep learning has focused on small pixel-level norm-based perturbations, this may not account for perturbations encountered in several real-world settings. In many such cases although test data might not be available, broad specifications about the types of perturbations (such as an unknown degree of rotation) may be known. We consider a setup where robustness is expected over an unseen test domain that is not i.i.d. but deviates from the training domain. While this deviation may not be exactly known, its broad characterization is specified a priori, in terms of attributes. We propose an adversarial training approach which learns to generate new samples so as to maximize exposure of the classifier to the attributes-space, without having access to the data from the test domain. Our adversarial training solves a min-max optimization problem, with the inner maximization generating adversarial perturbations, and the outer minimization finding model parameters by optimizing the loss on adversarial perturbations generated from the inner maximization. We demonstrate the applicability of our approach on three types of naturally occurring perturbations -- object-related shifts, geometric transformations, and common image corruptions. Our approach enables deep neural networks to be robust against a wide range of naturally occurring perturbations. We demonstrate the usefulness of the proposed approach by showing the robustness gains of deep neural networks trained using our adversarial training on MNIST, CIFAR-10, and a new variant of the CLEVR dataset.

연구 동기 및 목표

• 기존의 강건성 방법이 소규모 픽셀 수준의 변형에만 집중하여 실제 세계의 분포 이탈을 반영하지 못하는 한계를 해결하기 위해.
• 표준 ℓp-노름 경계에 의해 포괄되지 않는, 새로운 도메인에서의 자연스러운 변형에 대해 모델의 강건성을 향상시키는 훈련 프레임워크를 개발하기 위해.
• 테스트 도메인 데이터가 필요 없이도 의미를 유지하는 속성 이동—예를 들어 객체 위치, 형태 또는 기하학적 변환—에 대한 강건성을 확보하기 위해.
• 시각적 추론 작업에서 의미적 이동에 대한 강건성을 평가하기 위한 새로운 벤치마크인 CLEVR-Singles를 만들기 위해.
• 객체 수준의 이동, 기하학적 변환, 이미지 손상과 같은 다양한 변형 유형에 대해 접근의 일반화 능력을 입증하기 위해.

제안 방법

• AGAT는 최소-최대 최적화 문제로 공식화한다: 내부 최대화는 적대적 속성 변형을 생성하고, 외부 최소화는 이러한 변형된 샘플에서의 손실을 최소화하기 위해 모델 파라미터를 최적화한다.
• 이 방법은 의미 공간에서의 변형을 정의하기 위해 대체 속성 함수를 사용한다—예를 들어 기하학적 변환의 경우 공간 변환 네트워크, 객체 수준의 이동의 경우 조건부 GAN.
• 변형은 픽셀 값이 아닌 속성 파라미터(예: 회전 각도, 객체 크기, 흐림 강도 등)를 최적화하여 생성되며, 이는 자연스럽고 현실적인 변형을 제어할 수 있게 한다.
• 이 방법은 다양한 대체 함수와 함께 적용 가능하며, 예를 들어 흐림, 노이즈, 날씨 효과 등의 합성 이미지 손상에 대해서도 적용 가능하다.
• 이 방법은 속성 공간에서 합성된 적대적 예제를 사용하여 훈련함으로써, 테스트 도메인 데이터가 전혀 필요 없이도 강건성을 향상시킨다.
• 이 방법은 표준 분류 헤드와 손실 함수(예: 다항 교차 엔트로피)와 통합되어 기존 딥러닝 파ip라인과 호환된다.

실험 결과

연구 질문

• RQ1 의미적 속성에 의해 유도되는 적대적 훈련이 ℓp-노름 유계 노이즈를 초월하여 자연스럽고 현실적인 변형에 대해 강건성을 향상시킬 수 있는가?
• RQ2 속성 유도 적대적 훈련은 회전 및 이동과 같은 기하학적 변환에 대해 얼마나 효과적인가?
• RQ3 AGAT는 픽셀 공간의 변형에 의존하지 않고도 흐림, 노이즈, 날씨 효과와 같은 이미지 손상에 대해 일반화 가능한가?
• RQ4 예를 들어 노이즈 전용 또는 블러 전용 대체 함수만을 사용해 훈련할 경우, 전체 속성 방법과 비교해 성능 향상이 유사한가?
• RQ5 의미적 객체 변형을 포함하는 시각적 추론 작업에서 AGAT는 분포 이탈을 어느 정도 완화할 수 있는가?

주요 결과

• CIFAR10-C 벤치마크에서 AGAT는 평균 정확도 72.3%를 기록하여 모든 이전 베이스라인을 능가했으며, 날씨(65.8%), 흐림(74.1%), 디지털(71.6%) 손상 유형에서 뚜렷한 성과 향상을 보였다.
• 노이즈만을 대체 함수로 사용해 훈련한 AGAT 모델은 노이즈 유형에서 62.4%의 정확도를 기록하여, ALP를 포함한 모든 이전 픽셀 수준의 방법을 뛰어넘었다.
• MNIST-RTS 벤치마크에서 AGAT는 77.8%의 정확도를 기록하여, 회전 및 이동과 같은 기하학적 변형에 대해 강력한 강건성을 입증했다.
• CLEVR-Singles 벤치마크에서 AGAT는 89.3%의 정확도를 기록하여, 객체 위치 및 형태 변화와 같은 의미적 이동을 다루는 데 최고 수준의 성능를 보였다.
• 제거 실험 결과, 블러 또는 노이즈 전용으로만 훈련한 모델도 기존 픽셀 수준의 방법을 능가했으며, 이는 속성 유도 변형의 효과성을 입증했다.
• 이 방법은 다양한 변형 유형으로 일반화되며, 훈련 시 속성의 일부만 사용하더라도 높은 성능를 유지한다.