[논문 리뷰] Adversarial Robustness under Long-Tailed Distribution

Tong Wu, Ziwei Liu외 3명|arXiv (Cornell University)|2021. 04. 06.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 9

한 줄 요약

이 논문은 스케일 불변 분류기와 마진 엔지니어링 및 경계 조정을 통한 데이터 재균형화를 결합하여 장기적 불균형 데이터 분포 하에서 적대적 견고성을 향상시키는 새로운 프레임워크 RoBal을 제안한다. 이는 장기적 불균형 CIFAR-10 및 ImageNet-LT 벤치마크에서 최신 기술(SOTA) 수준의 견고한 정확도를 달성하며, 실세계 상황에서 데이터 분포 균형 조절과 경계 오차 감소가 견고성에 있어 핵심적임을 입증한다.

ABSTRACT

Adversarial robustness has attracted extensive studies recently by revealing the vulnerability and intrinsic characteristics of deep networks. However, existing works on adversarial robustness mainly focus on balanced datasets, while real-world data usually exhibits a long-tailed distribution. To push adversarial robustness towards more realistic scenarios, in this work we investigate the adversarial vulnerability as well as defense under long-tailed distributions. In particular, we first reveal the negative impacts induced by imbalanced data on both recognition performance and adversarial robustness, uncovering the intrinsic challenges of this problem. We then perform a systematic study on existing long-tailed recognition methods in conjunction with the adversarial training framework. Several valuable observations are obtained: 1) natural accuracy is relatively easy to improve, 2) fake gain of robust accuracy exists under unreliable evaluation, and 3) boundary error limits the promotion of robustness. Inspired by these observations, we propose a clean yet effective framework, RoBal, which consists of two dedicated modules, a scale-invariant classifier and data re-balancing via both margin engineering at training stage and boundary adjustment during inference. Extensive experiments demonstrate the superiority of our approach over other state-of-the-art defense methods. To our best knowledge, we are the first to tackle adversarial robustness under long-tailed distributions, which we believe would be a significant step towards real-world robustness. Our code is available at: https://github.com/wutong16/Adversarial_Long-Tail .

연구 동기 및 목표

• 실세계 데이터는 일반적으로 이러한 불균형을 보이므로, 장기적 불균형 데이터 분포가 적대적 견고성에 미치는 영향을 조사하는 것.
• 특히 꼬리 클래스에서 자연 정확도가 크게 떨어지는 현상이 악화되는 것을 확인하기 위해, 적대적 훈련 하에서 장기적 불균형 인식의 내재적 과제를 규명하는 것.
• 기존의 장기적 불균형 인식 방법을 적대적 훈련과 함께 체계적으로 평가하여, 견고성 평가에서의 한계와 잘못된 성과 향상 요인을 밝혀내는 것.
• 데이터 불균형과 경계 취약성 문제를 동시에 해결함으로써 자연 정확도와 견고한 정확도를 동시에 향상시키는 통합 프레임워크를 제안하는 것.

제안 방법

• 표준 선형 레이어를 대체하기 위해 코사인 유사도를 사용하는 스케일 불변 분류기를 제안하여 특징 크기 민감도를 감소시키고 견고성을 향상시킨다.
• 훈련 중에 클래스 인식 및 쌍 인식 마진을 도입하여 손실을 재균형화하고 꼬리 클래스와 헤드 클래스 간의 분리도를 향상시킨다.
• 예측을 결정 경계 근처에서 동적으로 수정하기 위해 추론 시점에 경계 조정을 적용하여 경계 오차를 감소시킨다.
• 데이터 재균형화와 마진 엔지니어링을 결합하여 예측 사전 확률을 완화하고 꼬리 클래스의 적대적 공격에 대한 취약성을 줄인다.
• 제어된 ε 설정 하에서 PGD 및 FGSM 공격을 사용한 적대적 훈련을 적용하여 장기적 불균형 데이터셋에서의 견고성 평가를 수행한다.
• 신뢰성 있고 효율적인 견고성 평가를 보장하기 위해 커리큘럼 기반 평가를 활용하여 Auto Attack(APGD-CE 및 APGD-DLR)을 적용한다.

실험 결과

연구 질문

• RQ1 장기적 불균형 데이터 분포는 적대적 훈련 하에서 딥 네ural 네트워크의 자연 정확도와 견고한 정확도에 어떤 영향을 미치는가?
• RQ2 기존의 장기적 불균형 인식 방법은 왜 꼬리 클래스를 중심으로 균일하게 견고성을 향상시키지 못하는가?
• RQ3 신뢰할 수 없는 평가 방법은 장기적 불균형 데이터셋에서 보고된 견고한 정확도에 대해 얼마나 큰 잘못된 성과 향상을 초래하는가?
• RQ4 재균형화와 분류기 설계를 통해 경계 오차를 효과적으로 줄일 수 있는가?
• RQ5 통합 프레임워크를 통해 장기적 불균형 분포에서 자연 정확도와 견고한 정확도를 동시에 향상시킬 수 있는가?

주요 결과

• 장기적 불균형 분포 하에서 적대적 훈련은 꼬리 클래스의 자연 정확도 저하를 심화시키며, 균형 잡힌 설정보다 더 심각한 트레이드오���이 존재함을 확인한다.
• CIFAR-10-LT에서 RoBal은 PGD-20 공격 하에 자연 정확도 78.4%와 견고한 정확도 68.2%를 기록하여 기준 모델 대비 견고한 정확도에서 5% 이상 향상되었다.
• ε=2/255인 ImageNet-LT에서 RoBal은 청소정확도 30.02%와 PGD-20 공격 하에 견고한 정확도 17.67%를 기록하여 다음으로 우수한 방법보다 견고한 정확도에서 4.4% 향상되었다.
• 꼬리 클래스의 경계 오차(R_bdy)는 상당히 높으며, RoBal은 마진 엔지니어링과 추론 시점 경계 조정을 통해 이를 감소시켰다.
• 데이터 재균형화와 스케일 불변 분류기의 조합은 기존의 적대적 훈련 대비 꼬리 클래스의 견고한 정확도를 12.5% 향상시켰다.
• 실험 결과, 클래스 인식 마진과 추론 시점 경계 조정의 조합이 재균형화만으로는 더 효과적임을 입증하며, 두 구성 요소 간의 상호보완성을 확인했다.