[논문 리뷰] Regional Adversarial Training for Better Robust Generalization

Chuanbiao Song, Yanbo Fan외 5명|arXiv (Cornell University)|2021. 09. 02.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 5

한 줄 요약

이 논문은 지역적 적대적 훈련(RAT)이라는 새로운 적대적 훈련 프레임워크를 제안한다. RAT는 적대적 영역 내에서 다양한 변형된 점을 샘플링하고, 그들의 공간적 특성을 반영하기 위해 거리 기반 레이블 스무딩을 적용함으로써 강건한 일반화를 향상시킨다. RAT는 표준 적대적 훈련과 비교해 추가적인 훈련 비용 없이 CIFAR-10과 CIFAR-100에서 최고 수준의 강건한 정확도를 달성한다.

ABSTRACT

Adversarial training (AT) has been demonstrated as one of the most promising defense methods against various adversarial attacks. To our knowledge, existing AT-based methods usually train with the locally most adversarial perturbed points and treat all the perturbed points equally, which may lead to considerably weaker adversarial robust generalization on test data. In this work, we introduce a new adversarial training framework that considers the diversity as well as characteristics of the perturbed points in the vicinity of benign samples. To realize the framework, we propose a Regional Adversarial Training (RAT) defense method that first utilizes the attack path generated by the typical iterative attack method of projected gradient descent (PGD), and constructs an adversarial region based on the attack path. Then, RAT samples diverse perturbed training points efficiently inside this region, and utilizes a distance-aware label smoothing mechanism to capture our intuition that perturbed points at different locations should have different impact on the model performance. Extensive experiments on several benchmark datasets show that RAT consistently makes significant improvement on standard adversarial training (SAT), and exhibits better robust generalization.

연구 동기 및 목표

• 표준 적대적 훈련(SAT)의 약한 강건한 일반화 문제를 해결하기 위해, 변형된 훈련 점들의 다양성과 공간적 특성을 고려한다.
• ϵ-구 내에서 모든 변형된 점을 동일하게 취급하는 것의 한계를 극복하여 특정 공격 패tern에 대한 과적합을 방지한다.
• 추가적인 훈련 비용 없이 다양한 PGD 공격 설정과 자연 이미지 손상에 대해 강건성을 향상시킨다.
• 다양한 적대적 위협 모델에 대해 안정적이고 잘 일반화되는 방어 메커니즘을 개발한다.
• 방어가 가짜 경로를 유도하는 기울기 장애(обfuscated gradients)를 겪지 않도록 보장하여, 진정된 강건성임을 확인한다.

제안 방법

• PGD 공격 경로를 따라 얻은 양호한 샘플, 첫 번째 적대적 점, 최종 적대적 점의 세 가지 핵심 점을 사용해 적대적 영역을 구성한다.
• 적대적 영역 기반 샘플러(ARS)를 활용해 이 영역 내에서 다양한 변형된 훈련 점을 효율적으로 샘플링함으로써, 적대적 방향과 크기의 다양성을 증진한다.
• 거리 기반 레이블 스무딩(DLS) 메커니즘을 적용하여, 각 변형된 점이 양호한 샘플에서 떨어진 거리에 따라 소프트 레이블을 할당한다. 원본 입력에 가까운 점일수록 더 높은 신뢰도를 부여한다.
• ARS와 DLS를 통합한 단일 적대적 훈련 프레임워크를 구현하여, 표준 정확도를 유지하면서도 강건성을 향상시킨다.
• 훈련 반복마다 단일 PGD 공격만을 활용해 표준 적대적 훈련과 동일한 계산 부담을 유지한다.
• 레이블 스무딩 함수를 설계하여, 변형된 점의 소프트 레이블이 진짜 레이블과 균일 분포의 볼륨 조합이 되도록 하되, 그 비중은 양호한 샘플에 가까운 정도에 따라 조절한다.

실험 결과

연구 질문

• RQ1 적대적 영역 내에서 변형된 훈련 점들의 다양성을 향상시키는 것이 더 나은 강건한 일반화로 이어질 수 있는가?
• RQ2 적대적 영역 내에서 변형된 점의 공간적 위치에 따라 다른 소프트 레이블을 할당하는 것이 모델의 강건성을 향상시키는가?
• RQ3 RAT는 표준 적대적 훈련과 비교해 다양한 PGD 공격 설정(예: 다른 공격 단계 수와 스텝 크기)에서 어떻게 성능을 발휘하는가?
• RQ4 RAT는 기존의 적대적 훈련 방법보다 자연 이미지의 손상에 대해 더 잘 일반화되는가?
• RQ5 RAT는 기울기 장애를 유발하는가? 이는 진정된 강건성보다는 회피 수단에 의한 결과일 가능성을 시사한다.

주요 결과

• RAT는 PGD 및 CW∞ 공격 하에서 CIFAR-10과 CIFAR-100에서 최고 수준의 강건한 정확도를 달성하며, 표준 적대적 훈련과 다른 최고 성능(SOTA) 방법들을 크게 능가한다.
• CIFAR-10-C와 CIFAR-100-C에서 RAT는 모든 손상 수준에서 평균 정확도가 가장 높으며, 자연 분포 이심에 대한 뛰어난 강건성을 입증한다.
• 제거 분석 결과, ARS와 DLS를 결합할 경우 성능 향상이 가장 크며, ARS만으로도 SAT보다 강건성이 향상되고, DLS는 공간적 특성을 모델링함으로써 추가로 향상된다.
• RAT는 기울기 장애를 보이지 않으며, 강력한 반복 공격(PGD)이 단일 스텝 공격보다 더 높은 성능을 내고, 더 큰 변형 예산에서 강건성이 감소하는 것으로 확인되어 진정된 강건성을 보여준다.
• RAT의 훈련 시간은 SAT와 거의 동일하다. CIFAR-10에서 1000회 반복 기준으로 SAT는 41.88분, RAT는 47.95분이 소요되어 추가적인 훈련 비용이 없음을 확인한다.
• RAT는 표준 정확도와 강건한 정확도 간 격차가 작아, 특정 공격 패턴에 대한 과적합을 줄이고 더 나은 일반화를 보여준다.