[논문 리뷰] Adversarially Optimized Mixup for Robust Classification

Jason Bunk, Srinjoy Chattopadhyay외 2명|arXiv (Cornell University)|2021. 03. 22.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 백프로파게이션을 통해 보간 과정을 거쳐, 혼합업보간과 적대적 편향을 동시에 최적화함으로써 적대적 로버스트니를 향상시키는 Adversarially Optimized Mixup를 제안한다. 보간 공간 내에서 최악의 점을 찾기 위해 투영된 경사 하강법을 사용함으로써, PGD-100 및 AutoAttack와 같은 강력한 적대자에 대해 CIFAR-10에서 최대 2.1% 향상된 로버스트 정확도를 달성하고, CIFAR-100에서는 4% 향상된다.

ABSTRACT

Mixup is a procedure for data augmentation that trains networks to make smoothly interpolated predictions between datapoints. Adversarial training is a strong form of data augmentation that optimizes for worst-case predictions in a compact space around each data-point, resulting in neural networks that make much more robust predictions. In this paper, we bring these ideas together by adversarially probing the space between datapoints, using projected gradient descent (PGD). The fundamental approach in this work is to leverage backpropagation through the mixup interpolation during training to optimize for places where the network makes unsmooth and incongruous predictions. Additionally, we also explore several modifications and nuances, like optimization of the mixup ratio and geometrical label assignment, and discuss their impact on enhancing network robustness. Through these ideas, we have been able to train networks that robustly generalize better; experiments on CIFAR-10 and CIFAR-100 demonstrate consistent improvements in accuracy against strong adversaries, including the recent strong ensemble attack AutoAttack. Our source code would be released for reproducibility.

연구 동기 및 목표

• 강력한 적대적 공격 하에서도 여전히 낮은 정확도를 보이는 적대적 훈련의 과적합 문제를 해결한다.
• 표준 훈련에서의 데이터 증강에 대한 통찰을 활용하여, 적대적으로 훈련된 네트워크의 일반화 성능을 향상시킨다.
• 기존의 혼합업보간-적대적 훈련 방법이 데이터 포인트 간 보간 공간에서 최악의 영역을 충분히 탐색하지 못하는 한계를 극복한다.
• 혼합업보간과 적대적 최적화를 모두 거쳐 엔드 투 엔드 백프로파게이션을 가능하게 하여, 더 매끄럽고 더 강력한 결정 경계를 학습할 수 있는 방법을 개발한다.
• 기울기 왜곡에 의존하지 않고, 기계적 기울기 없는 블랙박스 공격을 포함한 최신 기술 수준의 강력한 공격에 대해 로버스트성을 입증한다.

제안 방법

• 데이터 포인트 간 보간 공간에서 직접 적대적 최적화(PGD)를 수행함으로써, 혼합업보간 증강을 적대적 훈련과 통합한다.
• 보간 과정을 통해 기울기를 역전파하여, 입력 편향과 혼합 비율 $\lambda$를 동시에 최적화한다.
• 혼합 비율 $\lambda$를 0.5에서 1.0 사이로 제약하기 위해 시그모이드 기반 클리핑 함수를 사용하여 의미 있는 보간을 유지하면서 엔드 투 엔드 최적화를 가능하게 한다.
• 보간 공간 내에서 최악의 적대적 편향을 찾기 위해 투영된 경사 하강법(PGD)을 적용하여, 예측과 부드러운 레이블 간의 KL 발산을 최대화한다.
• 기하학적 레이블 할당 및 적응형 혼합 비율 최적화를 탐색하여 로버스트성을 향상시키며, 아블레이션 연구를 통해 각 구성 요소의 기여도를 검증한다.
• 혼합업보간으로 정의된 이웃 영역 내에서 최악의 손실을 최적화하는 제약 조건이 있는 최소-최대 공식화를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 혼합업보간 보간 공간 내에서의 적대적 최적화는 표준 적대적 훈련이나 혼합업보간만을 사용하는 것보다 더 강력한 일반화를 이끌 수 있는가?
• RQ2 혼합업보간과 적대적 편향을 모두 거쳐 엔드 투 엔드 기울기 역전파를 수행함으로써, 결정 경계에서 더 심각한 실패 지점을 식별함으로써 로버스트성을 향상시킬 수 있는가?
• RQ3 혼합 비율과 레이블 할당 전략의 선택이 강력한 적대자에 대한 로버스트 정확도에 어떻게 영향을 미치는가?
• RQ4 데이터 부족이 더욱 심각한 상황에서, 혼합업보간이 효과적인 증강 기법이 되어 CIFAR-100과 같은 도전적인 데이터셋에서 로버스트성을 향상시킬 수 있는가?
• RQ5 기울기 왜곡에 의존하지 않고, 기계적 기울기 없는 블랙박스 공격에 대해서도 로버스트성을 유지하는가? 이는 기울기 왜곡이 발생하지 않음을 의미한다.

주요 결과

• 100단계 PGD 공격 하에서, CIFAR-10에서 가장 강력한 베이스라인 대비 2.1%p의 절대적인 로버스트 정확도 향상을 달성한다.
• CIFAR-100에서는 PGD-100 하에서 약 4%의 로버스트 정확도 향상을 기록하며, 더 도전적인 저자원 환경에서 더 큰 이점을 보인다.
• AutoAttack, 즉 강력한 앙상블 적대자 하에서 CIFAR-100에서 58.34%의 로버스트 정확도를 달성하여, 'Mix-then-attack' 방법을 포함한 모든 베이스라인을 초월한다.
• 아블레이션 연구 결과, 혼합 비율과 적대적 편향의 공동 최적화가 핵심임을 확인하였으며, 전체 방법은 PGD-100 하에서 아블레이션 버전보다 0.6% 높은 성능을 보였다.
• 기울기 왜곡에 의존하지 않으며, 기계적 기울기 없는 블랙박스 공격에 대해서도 로버스트성을 유지함으로써, 기울기 왜곡이 발생하지 않으며, 새로운 공격 유형으로의 일반화 능력이 뛰어나다는 것을 시사한다.
• 이 방법은 아키텍처 간 일반화가 가능하며, RobNets와 같은 더 큰 로버스트성 중심 모델과 조합할 경우 추가적인 성능 향상을 기대할 수 있다.