[논문 리뷰] Reverse KL-Divergence Training of Prior Networks: Improved Uncertainty and Adversarial Robustness

Andrey Malinin, Mark Gales|arXiv (Cornell University)|2019. 05. 31.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 69

한 줄 요약

본 논문은 역 KL 발산으로 Prior Networks를 훈련시켜 불확실성 모델링을 개선하고 OOD 탐지를 향상시키며, 적응형 화이트박스 공격에 대해 강건성을 높이는 일반화된 적대적 학습 방법을 가능하게 한다.

ABSTRACT

Ensemble approaches for uncertainty estimation have recently been applied to the tasks of misclassification detection, out-of-distribution input detection and adversarial attack detection. Prior Networks have been proposed as an approach to efficiently \emph{emulate} an ensemble of models for classification by parameterising a Dirichlet prior distribution over output distributions. These models have been shown to outperform alternative ensemble approaches, such as Monte-Carlo Dropout, on the task of out-of-distribution input detection. However, scaling Prior Networks to complex datasets with many classes is difficult using the training criteria originally proposed. This paper makes two contributions. First, we show that the appropriate training criterion for Prior Networks is the \emph{reverse} KL-divergence between Dirichlet distributions. This addresses issues in the nature of the training data target distributions, enabling prior networks to be successfully trained on classification tasks with arbitrarily many classes, as well as improving out-of-distribution detection performance. Second, taking advantage of this new training criterion, this paper investigates using Prior Networks to detect adversarial attacks and proposes a generalized form of adversarial training. It is shown that the construction of successful \emph{adaptive} whitebox attacks, which affect the prediction and evade detection, against Prior Networks trained on CIFAR-10 and CIFAR-100 using the proposed approach requires a greater amount of computational effort than against networks defended using standard adversarial training or MC-dropout.

연구 동기 및 목표

• 신경망에서 불확실성 추정의 필요성과 잘못 분류되거나 OOD 입력 및 적대적 위협 하에서 신뢰 가능한 확률의 필요성을 제시한다.
• 출력 분포에 대한 Dirichlet 사전 모델로 Prior Networks를 도입하여 앙상블을 효율적으로 모방한다.
• 역 KL 발산이 Prior Networks에 적합한 학습 기준임을 보이고, 다수 클래스에 대한 확장성과 더 나은 OOD 탐지를 가능하게 한다.
• 역 KL 기준을 활용한 일반화된 적대적 학습 프레임워크를 탐구하여 적응적 공격을 Prior Networks에 대해 더 어렵게 만든다.

제안 방법

• 출력 분포에 대해 Dirichlet 분포를 매개변수화하는 Prior Networks를 정의한다.
• Dirichlet 타깃에 대한 forward KL과 reverse KL 학습 기준을 대비하고, RKL이 높은 데이터 불확실성 영역에서 단일 고정밀 모드를 산출한다고 주장한다.
• 손실 형식을 도출하고 비교한다: forward KL(원래 PN) 대 reverse KL(제안 PN-RKL)로, 기댓값에서 명시적 혼합(기하적 혼합 vs 산술 혼합)을 포함.
• 보조 손실 없이 이미지 데이터세트에서 PN-RKL를 학습하고, 도메인 내 정확도와 OOD 탐지에서 평가한다.
• RKL을 활용해 적대적 입력에 대한 불확실성을 형성하는 일반화된 적대적 학습 손실를 정식화하여 적대적 공격 탐지로 프레임워크를 확장한다.
• 타깃 PGD-MIM을 사용한 적응형 화이트박스 공격에 대한 강건성을 평가하고 DNN, DNN-ADV, MC-dropout 벤치마크와 비교한다.

실험 결과

연구 질문

• RQ1 역 KL 발산이 서로 다른 클래스 수를 가진 데이터셋에서 Prior Networks에 대해 올바른 학습 신호를 제공하는가?
• RQ2 PN-RKL이 PN-KL에 비해 OOD 탐지를 개선하면서 분류 성능을 경쟁력 있게 유지할 수 있는가?
• RQ3 PN-RKL이 적대적 공격 탐지에 효과적이며 적응형 화이트박스 공격에 대한 강건성을 높이는가?
• RQ4 제안된 적대적 학습 형식이 Prior Networks에 대한 성공적인 공격 공간에 어떤 영향을 주는가?
• RQ5 복잡한 데이터셋에서 다른 OOD 학습 데이터 선택이 PN-RKL의 한계에 미치는 비교적 한계는 무엇인가?

주요 결과

• PN-RKL은 데이터 집합 구조와 일치하는 불확실성 지표를 만들어낸다: 데이터 불확실성이 높은 교차 영역에서, OOD 입력에 대해서는 높은 지식 불확실성이 나타난다.
• 합성 고불확실 데이터에서 PN-RKL은 총 불확실성, 데이터 불확실성, 지식 불확실성의 분해를 PN-KL보다 더 정확하게 보여준다.
• PN-RKL은 표준 DNN 및 앙상블과 유사한 분류 오류율을 달성하는 반면, PN-KL은 더 복잡한 데이터셋에서 악화된다.
• PN-RKL은 적절한 OOD 데이터 사용 시 CIFAR-10/CIFAR-100에서 PN-KL보다 OOD 탐지 AUROC를 개선하고 앙상블과 대등하거나 우수한 성능을 보인다.
• PN-RKL 하의 적대적 학습(beta_in 및 beta_adv 설정)은 적응형 화이트박스 공격을 표준 DNN, DNN-ADV, 혹은 MC-dropout 방어보다 훨씬 더 계산적으로 어렵게 만든다.
• 적응형 공격의 전이 가능성이 감소하고, 블랙박스 공격도 PN-RKL에 대해 실패하는 경우가 많다.