[논문 리뷰] Provably Robust Detection of Out-of-distribution Data (almost) for free

Alexander Meinke, Julian Bitterwolf외 1명|arXiv (Cornell University)|2021. 06. 08.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 4

한 줄 요약

이 논문은 깨끗한 정확도가 높고 모델 신뢰도를 훼손하지 않으면서도, 고정된 정확도를 보장하는 적대적 공격에 강건한 외부 분포(OOD) 탐지 방법인 ProoD를 제안한다. 분류기의 아키텍처를 수정하여 학습 가능한 바이어스 이동을 도입하고, 훈련 중에 간격 경계 전파(IBP)를 적용함으로써, $l_\infty$-편향에 대해 OOD 샘플의 신뢰도에 대해 수학적으로 보장된 상한을 제공함으로써, 내재된 정확도를 떨어뜨리지 않고도 강건성을 확보한다.

ABSTRACT

The application of machine learning in safety-critical systems requires a reliable assessment of uncertainty. However, deep neural networks are known to produce highly overconfident predictions on out-of-distribution (OOD) data. Even if trained to be non-confident on OOD data, one can still adversarially manipulate OOD data so that the classifier again assigns high confidence to the manipulated samples. We show that two previously published defenses can be broken by better adapted attacks, highlighting the importance of robustness guarantees around OOD data. Since the existing method for this task is hard to train and significantly limits accuracy, we construct a classifier that can simultaneously achieve provably adversarially robust OOD detection and high clean accuracy. Moreover, by slightly modifying the classifier's architecture our method provably avoids the asymptotic overconfidence problem of standard neural networks. We provide code for all our experiments.

연구 동기 및 목표

• 외부 분포 입력에 대해 분류기의 신뢰도가 인위적으로 증가하는 적대적 편향에 취약한 OOD 탐지 방법의 문제를 해결하기 위해.
• $l_\infty$-제한된 적대적 공격 하에서 OOD 신뢰도에 대해 증명 가능한 보장을 제공하는 방법을 개발하여, 깨끗한 정확도를 훼손하지 않고도 강건성을 확보하기 위해.
• 학습 데이터 분포에서 멀리 떨어진 곳에서 표준 신경망의 점점 커지는 과신뢰 문제를 증명 가능하게 제거하기 위해.
• 높은 내재 분포 정확도와 OOD 탐지에 대한 증명 가능한 강건성을 결합하여, 안전 기반 시스템에 실용적으로 구현 가능하게 하기 위해.

제안 방법

• 표준 신경망의 점점 커지는 과신뢰 문제를 방지하기 위해, 분류기 아키텍처를 수정하여 학습 가능한 바이어스 이동 $\Delta$ 를 도입한다.
• 훈련 중에 간격 경계 전파(IBP)를 적용하여, $l_\infty$-근접 영역 내에서 OOD 샘플의 신뢰도에 대해 증명 가능한 상한을 계산한다.
• 훈련 목표는 OOD 데이터에 대한 신뢰도 상한을 최소화함으로써, 적대적 편향 하에서도 강건성을 확보한다.
• 기존의 표준 OOD 탐지 기반 모델과 호환되며, 재훈련 없이도 기존에 훈련된 강건 모델과 조합 가능하다.
• 입력을 내재 또는 외부 분포로 분류하기 위해 이진 식별자 헤드를 사용하며, 신뢰도 임계값 기반으로 판단한다.
• 각 OOD 샘플에 대해 개별적인 증명 가능한 인증을 제공하여, $l_\infty$-편향이 인증된 상한을 초과할 수 없음을 수학적으로 보장한다.

실험 결과

연구 질문

• RQ1 고정된 정확도를 유지하면서 $l_\infty$-적대적 공격에 대해 OOD 탐지가 증명 가능한 강건성을 갖출 수 있는가?
• RQ2 아키텍처 및 훈련 수정을 통해 표준 신경망의 OOD 데이터에 대한 점점 커지는 과신뢰 문제를 증명 가능하게 제거할 수 있는가?
• RQ3 재훈련 없이도 내재 분포 데이터 성능을 떨어뜨리지 않고 OOD 탐지에 대해 증명 가능한 강건성을 달성할 수 있는가?
• RQ4 기존의 OOD 탐지 및 적대적 강건성 기법과 비교해, 제안된 방법이 경험적 및 이론적으로 어떻게 성능을 내는가?
• RQ5 이미 훈련된 내재 분포 강건 모델과 조합하여, 성능 저하 없이 OOD 강건성을 향상시킬 수 있는가?

주요 결과

• ProoD는 OE와 같은 최신 기법과 유사한 높은 깨끗한 정확도(95.6% on CIFAR-10)를 달성하면서도, 증명 가능한 강건성을 제공한다.
• CIFAR-100 외부 분포 벤치마크에서 $\Delta=3$ 일 때, ProoD는 $\epsilon=0.01$ $l_\infty$-편향 하에서 48.6%의 인증 GAUC를 달성하여 비강건 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 표준 모델이 학습 데이터 분포에서 멀리 떨어진 OOD 데이터에 대해 점점 과신뢰가 되는 것과는 달리, ProoD는 비제로 GAUC와 인증된 신뢰도 상한을 제공한다.
• RobustBench에서 훈련된 강건한 ResNet-18과 조합했을 때, ProoD는 모든 데이터셋에서 OOD 탐지 성능을 향상시키거나 유지하였으며, 깨끗한 정확도나 강건 정확도에 하락이 없었다.
• 다섯 번의 실행에서의 오차 막대는 극도로 낮은 변동성을 보이며, 방법의 안정성과 성능 일관성을 확인한다.
• 이산 바이어스 이동을 사용하는 ProoD-Disc는 CIFAR-100에서 67.7% AUC와 61.6% GAUC를 달성하여 강력한 경험적 강건성을 보였다.