[논문 리뷰] ADBM: Adversarial diffusion bridge model for reliable adversarial purification

Xiaoli Li, Wenxuan Sun외 6명|arXiv (Cornell University)|2024. 08. 01.

Adversarial Robustness in Machine Learning인용 수 1

한 줄 요약

이 논문은 DiffPure가 손상된 청소년 및 적대적 분포가 가까이 있다고 잘못된 가정에 의존하는 것과는 달리, 손상된 적대적 데이터에서 청소년 데이터로의 직접적인 역과정을 학습하는 새로운 적대적 확산 다리 모델인 ADBM을 제안한다. ADBM은 CIFAR-10에서 적응형 공격 하에 최대 53.5%의 강건성 정확도를 달성하며, 단 한 번의 역과정 단계만으로도 강력한 일반화 및 이식성(transferability)을 유지한다.

ABSTRACT

Recently Diffusion-based Purification (DiffPure) has been recognized as an effective defense method against adversarial examples. However, we find DiffPure which directly employs the original pre-trained diffusion models for adversarial purification, to be suboptimal. This is due to an inherent trade-off between noise purification performance and data recovery quality. Additionally, the reliability of existing evaluations for DiffPure is questionable, as they rely on weak adaptive attacks. In this work, we propose a novel Adversarial Diffusion Bridge Model, termed ADBM. ADBM directly constructs a reverse bridge from the diffused adversarial data back to its original clean examples, enhancing the purification capabilities of the original diffusion models. Through theoretical analysis and experimental validation across various scenarios, ADBM has proven to be a superior and robust defense mechanism, offering significant promise for practical applications.

연구 동기 및 목표

• DiffPure가 손상된 청소년 및 적대적 분포가 가까이 있다고 가정하는 데 의존함으로써 기인하는 최적화되지 않은 성능 문제를 해결하기 위해.
• 기존 평가에서 약한 적응형 공격에 의존함으로써 DiffPure의 강건성에 대한 과대평가를 규명하고 수정하기 위해.
• 기본 분류기 재학습 없이도 즉시 사용 가능한 방식으로 작동하는 새로운 방어 메커니즘을 개발하기 위해.
• 강력한 적응형 공격을 사용한 확산 기반 정제의 신뢰할 수 있는 평가 프로토콜을 수립하기 위해.
• 추론를 가속화하고 다양한 분류기 간의 이식성을 향상시켜 실용성을 높이기 위해.

제안 방법

• ADBM은 손상된 적대적 데이터 분포에서 청소년 데이터 분포로의 직접적인 역과정(또는 '다리')을 구축하여, 분포 유사성의 필요성을 회피한다.
• 고정된 노이즈 스케줄(t)과 고정된 입력(x)을 사용해 생성된 적대적 예제를 활용해 사전 학습된 확산 모델을 미세조정함으로써 안정적이고 효과적인 학습을 보장한다.
• 확산 모델의 역과정을 활용해 노이즈가 섞인, 훼손된 입력을 청소년 예제로 되돌리는 맵핑을 학습함으로써 적대적 입력을 정제한다.
• 이론적 분석을 통해 ADBM의 직접적인 역다리가 DiffPure에서처럼 손상된 분포 간의 암묵적 유사성에 의존하는 것보다 더 강건함을 입증한다.
• 단일 단계 역과정을 통해 추론 비용을 감소시키면서도 높은 강건성을 유지함으로써 가속화를 달성한다.
• 특정 분류기에서 ADBM을 미세조정함으로써 이식성을 확보하며, 이후 새로운 모델에 대해 재학습 없이 적용 가능하다.

실험 결과

연구 질문

• RQ1 손상된 청소년 및 적대적 분포가 가까이 있다고 가정하는 것이 실제 상황에서 성립하는가? 이는 DiffPure의 성능에 어떤 영향을 미치는가?
• RQ2 손상된 적대적 데이터에서 청소년 데이터로의 직접적인 역다리가 기존의 확산 기반 정제 방법보다 뛰어나게 성능을 높일 수 있는가?
• RQ3 ADBM은 기존 방법과 비교해 강력하고 신뢰할 수 있는 적응형 공격 하에서 어떻게 성능을 발휘하는가?
• RQ4 ADBM은 추론 비용을 줄이기 위해 가속화될 수 있으며, 이로 인해 강건성이 유지되는가?
• RQ5 ADBM은 재학습 없이도 다양한 분류기 간에 이식성이 있는가?

주요 결과

• ADBM은 CIFAR-10에서 l∞, l1, l2 공격 모델에 대해 적응형 공격 하에 평균 53.5%의 강건성 정확도를 달성하며, DiffPure의 평균 49.1%를 크게 능가한다.
• 단 한 번의 역과정 단계만으로도 ADBM은 높은 강건성(평균 52.8% 정확도)을 유지함으로써 뛰어난 효율성과 실용성을 입증한다.
• 제거 실험 결과, t를 고정하고, x를 고정하며, 분류기를 사용해 노이즈를 생성하는 세 가지 설계 선택이 ADBM의 성공에 필수적임을 확인한다.
• ADBM는 강력한 이식성을 보이며, WRN-70-16 분류기에서 미세조정된 후 WRN-28-10 및 비전 트랜스포머 모델에 대해 재학습 없이도 유사한 강건성 정확도를 달성한다.
• 강력한 적응형 공격 하에서도 ADBM은 강건성을 유지하며, 이는 이전의 DiffPure 평가가 약한 공격에 의존함으로써 과도하게 낙관적인 결과를 낳았음을 드러낸다.
• ADBM은 표준 확산 모델의 약 1/10 수준의 추론 비용을 감소시켜 실시간 응용에 실현 가능하게 한다.