[논문 리뷰] Boosting Adversarial Training with Hypersphere Embedding

Tianyu Pang, Xiao Yang외 4명|arXiv (Cornell University)|2020. 02. 20.

Adversarial Robustness in Machine Learning참고 문헌 89인용 수 67

한 줄 요약

이 논문은 hypersphere embedding을 적대적 학습 프레임워크에 통합하여 특징을 컴팩트한 매니폴드로 규제하고, CIFAR-10 및 ImageNet에서 PGD-AT, ALP, TRADES, FreeAT, FastAT에 걸친 추가 계산을 최소화하면서 강인성을 향상시킨다.

ABSTRACT

Adversarial training (AT) is one of the most effective defenses against adversarial attacks for deep learning models. In this work, we advocate incorporating the hypersphere embedding (HE) mechanism into the AT procedure by regularizing the features onto compact manifolds, which constitutes a lightweight yet effective module to blend in the strength of representation learning. Our extensive analyses reveal that AT and HE are well coupled to benefit the robustness of the adversarially trained models from several aspects. We validate the effectiveness and adaptability of HE by embedding it into the popular AT frameworks including PGD-AT, ALP, and TRADES, as well as the FreeAT and FastAT strategies. In the experiments, we evaluate our methods under a wide range of adversarial attacks on the CIFAR-10 and ImageNet datasets, which verifies that integrating HE can consistently enhance the model robustness for each AT framework with little extra computation.

연구 동기 및 목표

• 적대적 학습 내에서 경량의 hypersphere embedding (HE) 메커니즘을 동기부여하고 구현하여 강인성을 향상시킨다.
• FN (feature normalization), WN (weight normalization), 및 AM (angular margin)이 AT와 어떻게 상호 작용하는지 분석한다.
• HE를 PGD-AT, ALP, TRADES, FreeAT, FastAT에 삽입했을 때의 호환성과 효과를 보여준다.
• CIFAR-10 및 ImageNet에서 다양한 적대적 공격 및 데이터 손상에 대한 강인성을 평가한다.

제안 방법

• HE를 사용하여 특징과 가중치를 정규화하고 학습 및 적대적 목표에 각도 여백을 적용한다.
• 네트워크 출력이 cosine 기반의 각도 지표가 되도록 하되 완화된 출력에서 바이어스 항이 없는 HE 정의를 사용한다 (softened output에서 bias는 (x)에 없음).
• 세 가지 대표적 AT 프레임워크(PGD-AT, ALP, TRADES)와 두 가지 가속 전략(FreeAT, FastAT)에 HE를 통합한다.
• FN를 활용하여 학습을 어려운 예에 집중시키고 더 효율적인 adversarial perturbations를 촉진한다.
• 각도 지표 하에서 클래스 간 분산을 증가시키기 위해 AM을 적용하여 강인성을 향상시킨다.
• S(cos theta)를 S(-theta)로 대체하여 강한 적대자를 더 잘 활용하도록 수정된 HE (m-HE) 변형을 제공한다.

실험 결과

연구 질문

• RQ1 HE를 적대적 학습(AT)에 임베딩하는 것이 여러 AT 프레임워크에서 일관되게 강인성을 향상시키는가?
• RQ2 특징 정규화, 가중치 정규화, 각도 여백이 AT 다이내믹스와 어떻게 상호작용하여 강인성과 학습 효율성을 향상시키는가?
• RQ3 HE approaches가 FreeAT와 FastAT 같은 가속 전략과 상당한 계산 오버헤드 없이 호환되는가?
• RQ4 HE가 CIFAR-10 및 ImageNet에서 광범위한 적대적 공격 및 데이터 손상에 대해 강인성을 향상시키는가?
• RQ5 수정된 HE가 AT 설정에서 강한 적대자들을 더 잘 활용할 수 있는가?

주요 결과

• HE는 HE와 결합될 때 PGD-AT, ALP, TRADES 전반에 걸쳐 일관되게 강인성을 향상시킨다.
• HE와 AT는 상호 이익이 있어 약간의 추가 계산으로 적대적 강인성을 향상시킨다.
• FN과 WN은 학습을 어려운 예에 집중시키고 크기 편향된 가중치 업데이트를 줄여 학습을 안정화하며; AM은 클래스 간 여백을 확대하여 강인성을 추가로 증가시킨다.
• HE는 화이트박스 및 블랙박스 공격 및 가속 AT 방법(FreeAT 및 FastAT)에서 성능을 향상시킨다.
• 일부 AT 구성에서 m-HE가 강한 adversaries를 더 잘 활용할 수 있다.
• CIFAR-10 및 ImageNet에 대한 실험은 다양한 공격 및 손상에 대한 향상된 강인성과 회복력을 보여준다.