[논문 리뷰] LiBRe: A Practical Bayesian Approach to Adversarial Detection

Zhijie Deng, Xiao Yang외 3명|ArXiv.org|2021. 03. 27.

Adversarial Robustness in Machine Learning참고 문헌 67인용 수 7

한 줄 요약

LiBRe는 최종 레이어를 단순한 다층 딥 앙상블 변동 베이지안 네트워크로 변환하여 사전 훈련된 딥 네트워크에 적대적 예측 탐지 능력을 부여하는 경량 베이지안 정련 방법을 제안한다. 이는 최소한의 계산 비용으로 다양한 공격에 대해 최신 기술 수준의 탐지 성능을 달성하며, 적대적 예제를 통합하지 않고도 사전 훈련, 미세 조정 및 불확실성 정규화를 통해 높은 예측 정확도와 효율적인 추론을 유지한다.

ABSTRACT

Despite their appealing flexibility, deep neural networks (DNNs) are vulnerable against adversarial examples. Various adversarial defense strategies have been proposed to resolve this problem, but they typically demonstrate restricted practicability owing to unsurmountable compromise on universality, effectiveness, or efficiency. In this work, we propose a more practical approach, Lightweight Bayesian Refinement (LiBRe), in the spirit of leveraging Bayesian neural networks (BNNs) for adversarial detection. Empowered by the task and attack agnostic modeling under Bayes principle, LiBRe can endow a variety of pre-trained task-dependent DNNs with the ability of defending heterogeneous adversarial attacks at a low cost. We develop and integrate advanced learning techniques to make LiBRe appropriate for adversarial detection. Concretely, we build the few-layer deep ensemble variational and adopt the pre-training & fine-tuning workflow to boost the effectiveness and efficiency of LiBRe. We further provide a novel insight to realise adversarial detection-oriented uncertainty quantification without inefficiently crafting adversarial examples during training. Extensive empirical studies covering a wide range of scenarios verify the practicability of LiBRe. We also conduct thorough ablation studies to evidence the superiority of our modeling and learning strategies.

연구 동기 및 목표

• 기존의 적대적 방어 방법이 보편성, 효과성 또는 효율성 중 하나를 희생하는 한계를 해결하기 위해.
• 다시 시작부터 훈련하지 않고도 사전 훈련된 과제 특화 DNN에서 실용적인 적대적 탐지를 가능하게 하기 위해.
• 예측 성능과 추론 속도를 유지하면서도 적대적 탐지를 위한 베이지안 불확실성 추정을 향상시키기 위해.
• 훈련 중에 적대적 예제를 제작할 필요 없이 새로운 불확실성 보정 전략을 도입하기 위해.

제안 방법

• 딥 앙상블을 마지막 몇 층에만 적용하는 변동 베이지안 방법인 소수층 딥 앙상블(Few-lAyer Deep Ensemble, FADE)을 도입하여, 이전 레이어의 결정론적 가중치를 유지한다.
• 사전 훈련 및 미세 조정 파라다임을 활용하여, 사전 훈련된 결정론적 가중치로 FADE를 초기화함으로써 수렴 속도를 가속화하고 사후 분포 품질을 향상시킨다.
• FADE에서 확률적 성질을 통합한 학습 원칙을 적용하여 다양한 기능 모드를 장려하고 기울기 분산을 감소시킨다.
• 적대적 예제를 제작하지 않고도 예측 불확실성을 보정하기 위해 불확실성 정규화(R)를 적용한다.
• 배치 기반의 몬테 카를로 추정 대신 인스턴스 기반의 기대 로그우도(L*) 추정을 사용하여 훈련 안정성과 불확실성 캘리브레이션을 향상시킨다.
• 특징 분산을 불확실성 측정 기준으로 활용하여, 분포 외 및 적대적 입력 탐지에 대해 소프트맥스 분산보다 더 강건한 성능을 제공한다.

Figure 1 : Given a pre-trained DNN, LiBRe converts its last few layers (excluding the task-dependent output head) to be Bayesian, and reuses the pre-trained parameters. Then, LiBRe launches several-round adversarial detection-oriented fine-tuning to render the posterior effective for prediction and

실험 결과

연구 질문

• RQ1 다양한 작업과 공격에 걸쳐 효과적이고 효율적인 베이지안 정련 접근법이 가능한가?
• RQ2 훈련 중에 적대적 예제를 사용하지 않고도 베이지안 불확실성을 어떻게 향상시킬 수 있는가?
• RQ3 소프트맥스 분산 대신 특징 분산을 사용할 경우 더 나은 적대적 탐지 성능을 얻을 수 있는가?
• RQ4 불확실성 정규화(R)와 인스턴스 기반의 가능도 추정(L*)이 탐지 품질을 얼마나 향상시키는가?
• RQ5 경량 베이지안 방법이 실시간 적대적 탐지를 가능하게 하면서도 높은 예측 정확도를 유지할 수 있는가?

주요 결과

• FGSM, C&W, PGD, DIM 공격에 대해 각각 AUROC 점수 1.000, 0.985, 0.994, 1.000을 기록하여 모든 기준선을 초월한다.
• COCO 객체 검출에서 LiBRe는 mAP@.5와 mAP@.5:.95를 각각 0.545와 0.344로 유지하면서 네 가지 공격 유형에 대해 0.957–0.972의 AUROC를 달성한다.
• LiBRe는 결정론적 추론(MAP)과 비슷한 속도를 기록하며, RTX 2080 Ti에서 32개 이미지 배치당 추론 시간이 약 1.2초로 실시간 배포가 가능하다.
• 시각화 결과 FADE 사후 분포가 앙상블 멤버 간에 높은 다양성을 보이며 모드 붕괴가 발생하지 않았음을 확인했다.
• 제거 실험 결과 소프트맥스 분산은 특징 분산보다 훨씬 열 劣한 탐지 성능(AUROC ~0.01–0.76)을 보이며, 흐름에 대한 저항성이 떨어진다.
• 불확실성 정규화(R)를 제거하거나 배치 기반 몬테 카를로 추정(L)을 사용할 경우 탐지 AUROC가 최대 50% 감소하여 이 구성 요소의 중요성을 입증한다.

Figure 2 : The histograms for the feature variance uncertainty of normal and adversarial examples given by LiBRe or the baselines.