[논문 리뷰] Guided Interpolation for Adversarial Training

Chen Chen, Jingfeng Zhang외 5명|arXiv (Cornell University)|2021. 02. 15.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 6

한 줄 요약

이 논문은 적대적 훈련을 위한 데이터 증강 방법인 가이드드 인터폴레이션 프레임워크(GIF)를 제안한다. 이 방법은 이전 에포크의 메타 정보를 활용해 인터폴레이션를 가이드함으로써, 공격 가능한 데이터 비율을 높이고 클래스 간 선형 행동을 감소시켜, 추가 데이터가 필요 없이 다양한 데이터셋과 모델에서 적대적 로버스트니를 향상시킨다. GIF는 CIFAR-10과 SVHN에서 PGD 및 CW 공격 하에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To enhance adversarial robustness, adversarial training learns deep neural networks on the adversarial variants generated by their natural data. However, as the training progresses, the training data becomes less and less attackable, undermining the robustness enhancement. A straightforward remedy is to incorporate more training data, but sometimes incurring an unaffordable cost. In this paper, to mitigate this issue, we propose the guided interpolation framework (GIF): in each epoch, the GIF employs the previous epoch's meta information to guide the data's interpolation. Compared with the vanilla mixup, the GIF can provide a higher ratio of attackable data, which is beneficial to the robustness enhancement; it meanwhile mitigates the model's linear behavior between classes, where the linear behavior is favorable to generalization but not to the robustness. As a result, the GIF encourages the model to predict invariantly in the cluster of each class. Experiments demonstrate that the GIF can indeed enhance adversarial robustness on various adversarial training methods and various datasets.

연구 동기 및 목표

• 적대적 훈련 중 공격 가능한 데이터 비율 감소 문제를 해결하여 로버스트니 향상을 뒷받침한다.
• 일반적인 미크스업이 일반화를 도와주지만 적대적 로버스트니를 해칠 수 있는 선형 행동을 완화한다.
• 특히 개인정보 보호가 중요한 도메인에서 추가 레이블링된 또는 레이블이 없는 데이터에 의존하지 않고도 로버스트니를 향상시킨다.
• 이전 훈련 에포크의 모델 메타 정보를 동적으로 활용해 인터폴레이션를 가이드하는 데이터 증강 전략을 개발한다.

제안 방법

• GIF는 이전 에포크의 메타 정보(예: 모델 예측, 기울기, 특징 통계 등)를 활용해 인터폴레이션 과정을 가이드함으로써, 인터폴레이션된 샘플이 공격 가능성이 높아지도록 한다.
• 프레임워크는 원본 데이터와 적대적 예제 사이에서 인터폴레이션를 수행하며, 고정된 인터폴레이션 가중치 λ=0.5를 사용한다. 이는 로버스트니에 대해 경험적으로 최적임이 입증되었다.
• 인터폴레이션된 샘플은 클래스 클러스터 내 국소 불변성을 유지하도록 생성되어, 클래스 예측 간의 선형 전이를 감소시킨다.
• 모든 미니배치에서 원본 데이터와 인터폴레이션된 데이터를 조합함으로써 적대적 훈련에 통합되며, 1:1 비율과 같은 균형 잡힌 비율이 최고의 성능을 낸다.
• 모델이 먼저 청소년 데이터로 훈련한 후에 인터폴레이션된 샘플을 포함하는 버닝 인 기간을 도입함으로써 안정성과 로버스트니를 향상시켰다.
• PGD, CW 등 다양한 적대적 공격 방법을 활용해 훈련 데이터를 생성할 수 있어, 다양한 공격 설정에서의 강건성을 입증했다.

실험 결과

연구 질문

• RQ1 가이드드 인터폴레이션은 국소 불변성을 해치지 않으면서도 적대적 훈련 중 공격 가능한 데이터 비율을 높일 수 있는가?
• RQ2 클래스 예측 간의 선형 행동을 줄이면 일반적인 미크스업에 비해 적대적 로버스트니가 향상되는가?
• RQ3 추가 레이블링된 또는 레이블이 없는 데이터가 없이도 제안된 프레임워크가 로버스트니를 향상시킬 수 있는가?
• RQ4 인터폴레이션 가중치 λ와 데이터 비율의 선택이 PGD 및 CW 공격 하에서 로버스트니에 어떤 영향을 미치는가?
• RQ5 버닝 인 기간이 가이드드 인터폴레이션 프레임워크의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• PGD-10 공격 생성을 사용한 AT-GIF는 PGD-20 공격 하에서 CIFAR-10에서 53.57%의 로버스트 정확도를 기록하여 표준 AT 및 AT-mixup를 초월했다.
• CW-10 공격 생성을 사용한 AT-GIF는 PGD-20 공격 하에서 CIFAR-10에서 59.65%의 로버스트 정확도를 기록하여, CW 기반의 데이터 생성 방식도 효과적임을 보였다.
• 고정된 λ=0.5가 가장 높은 로버스트 정확도를 낸 반면, 균일 또는 베타 분포에서 무작위로 선택한 λ는 선형 행동 증가로 인해 성능이 저하되었다.
• 버닝 인 기간은 CW 공격 하에서 약간의 로버스트니 향상(50.07% vs. 49.13%)을 가져왔지만, PGD-20 공격 하에서는 약간의 부정적 영향(53.57% vs. 53.60%)을 미쳤다.
• 원본 데이터와 인터폴레이션된 데이터의 비율이 1:1일 때 가장 우수한 성능를 기록했으며, 1:2 및 2:1 비율은 열등한 결과를 보였다. 이는 최적의 데이터 균형이 매우 중요함을 시사한다.
• SVHN에서는 AT-GIF가 PGD-20 공격 하에서 77.98%의 로버스트 정확도를 기록하여 표준 AT 대비 일관된 향상을 보였다.