[논문 리뷰] ATHENA: A Framework based on Diverse Weak Defenses for Building Adversarial Defense

Ying Meng, Jianhai Su외 1명|arXiv (Cornell University)|2020. 01. 02.

Adversarial Robustness in Machine Learning참고 문헌 71인용 수 11

한 줄 요약

Athena는 입력에 적용되는 다양한 변환을 통해 강력한 적대적 방어를 구축하는 유연하고 확장 가능한 프레임워크입니다. 다양한 위협 모델(지식이 없는 모델에서 화이트박스까지)에서 최신 기술 수준의 강성과 정확도를 달성하며, CIFAR-100에서 PGD 적대적 훈련을 능가합니다. 특히 다양한 변환을 사용할 경우 성능이 뛰어나며, 강성과 계산 비용 사이의 맞춤형 트레이드오프를 제공합니다.

ABSTRACT

There has been extensive research on developing defense techniques against adversarial attacks; however, they have been mainly designed for specific model families or application domains, therefore, they cannot be easily extended. Based on the design philosophy of ensemble of diverse weak defenses, we propose ATHENA---a flexible and extensible framework for building generic yet effective defenses against adversarial attacks. We have conducted a comprehensive empirical study to evaluate several realizations of ATHENA with four threat models including zero-knowledge, black-box, gray-box, and white-box. We also explain (i) why diversity matters, (ii) the generality of the defense framework, and (iii) the overhead costs incurred by ATHENA.

연구 동기 및 목표

• 특정 모델 계열이나 공격 유형에 국한되지 않는 일반화 가능하고 확장 가능한 방어의 부족을 해결한다.
• 단일 강력한 방어에 의존하기보다는 다양한 약한 방어를 활용하는 프레임워크를 설계하여 기존 방어의 취약성을 극복한다.
• 앙상블 구성으로 강성, 모델 정확도, 계산 오버헤드 사이의 맞춤형 트레이드오프 공간을 제공한다.
• 약한 방어의 수와 종류를 조정하여 클라우드 및 엣지 시스템을 포함한 다양한 환경에 배포할 수 있도록 한다.
• 다양한 변환을 앙상블하는 것이 동일한 변환 또는 동일한 유형의 방어보다 훨씬 강력한 강성을 달성함을 입증한다.

제안 방법

• 각 약한 방어(WD)가 입력에 대해 고유한 변환(예: 회전, 이동, 노이즈 제거)을 적용한 후 분류하는 방식의 앙상블 기반 방어 프레임워크를 구축한다.
• 예측 결과를 평균 내거나 다数 투표 방식을 사용해 모든 WD의 예측을 통합함으로써 다양성을 통해 강성 향상을 달성한다.
• 기하학적, 필터링, 압축 등 다양한 유형의 변환을 포함하는 광범위한 변환 풀에서 WD를 선택하여 입력의 변형을 최대한 방해한다.
• 자원 가용성, 위협 모델, 또는 원하는 강성 수준에 따라 배포 시점에 앙상블을 동적으로 구성할 수 있도록 지원한다.
• 기존 머신러닝 모델과 통합 가능하며, 모델에 종속되지 않는 전략과 모델에 특화된 전략을 모두 지원한다.
• 플랫폼 간 혼합 배포(예: 멀티클라우드, 엣지)를 가능하게 하기 위해 앙상블 크기와 변환 복잡도를 조절할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다양한 약한 방어의 앙상블은 개별적 또는 동일한 유형의 방어보다 적대적 공격에 대해 상당히 향상된 강성을 달성할 수 있는가?
• RQ2 앙상블 내 변환의 다양성이 다양한 위협 모델(지식이 없는 모델, 블랙박스, GRAY박스, 화이트박스)에서 강성에 어떤 영향을 미치는가?
• RQ3 재학습 없이도 다양한 모델 아키텍처와 애플리케이션 도메인(예: 이미지, 음성, 영상)으로 일반화 가능한가?
• RQ4 앙상블 내 약한 방어의 수와 종류를 변화시킬 경우 강성, 추론 오버헤드, 모델 정확도 사이의 트레이드오프는 어떻게 변하는가?
• RQ5 엔드 디바이스와 같은 자원 제약 환경에서 앙상블 크기를 줄여도 핵심 강성을 유지할 수 있는가?

주요 결과

• 다양한 약한 방어의 앙상블은 CIFAR-100에서 PGD 적대적 훈련보다 낮은 오차율을 기록했으며, 대부분의 경우 두 번째로 우수한 성능을 낸 모델보다 최소 20% 이상 낮은 오차율을 기록했다.
• 모든 데이터셋과 공격 유형에서 동일한 변환(예: 이동, 회전) 기반의 동종 앙상블보다 우수했으며, 특히 CIFAR-100에서 CW 공격 같은 도전적인 공격에 대해 뚜렷한 성능 향상을 보였다.
• WD의 수를 늘릴수록 오차율이 지속적으로 감소했으며, 4개 이상의 WD로 구성된 앙상블은 PGD-ADT 성능을 도달하거나 초월했다.
• 프레임워크는 지식이 없는 모델, 블랙박스, GRAY박스, 화이트박스의 네 가지 모든 위협 모델에서 강성을 입증하여 일반성과 내성적 저항력을 확인했다.
• Athena의 오버헤드는 조절 가능하다: WD의 수를 줄여 엣지 배포에 최적화할 수 있으며, 여전히 만족스러운 강성을 유지할 수 있다.
• 변환의 다양성이 핵심이다: 서로 다른 변환은 적대적 편향을 보완적으로 방해하여 공격자가 통합된 공격을 만드는 것을 더 어렵게 만든다.