[논문 리뷰] Provable Worst Case Guarantees for the Detection of Out-of-Distribution Data.

Julian Bitterwolf, Alexander Meinke외 1명|arXiv (Cornell University)|2020. 07. 16.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 5

한 줄 요약

이 논문은 깊이 신경망에서 분포 외(OOD) 탐지에 대해 증명 가능한 최악의 경우 보장을 제공하는 방법을 제안한다. 이는 OOD 점뿐만 아니라 그 주변의 $l_\infty$-구역 내에서도 낮은 신뢰도를 강제함으로써 달성된다. 간격 경계 전파(IBP)를 사용하여 훈련 중에 이러한 구역 내의 최대 신뢰도 상한을 최소화함으로써, 정확도 저하를 최소화하면서도 증명 가능한 OOD 탐지 성능을 달성한다.

ABSTRACT

Deep neural networks are known to be overconfident when applied to out-of-distribution (OOD) inputs which clearly do not belong to any class. This is a problem in safety-critical applications since a reliable assessment of the uncertainty of a classifier is a key property, allowing to trigger human intervention or to transfer into a safe state. In this paper, we are aiming for certifiable worst case guarantees for OOD detection by enforcing not only low confidence at the OOD point but also in an $l_\infty$-ball around it. For this purpose, we use interval bound propagation (IBP) to upper bound the maximal confidence in the $l_\infty$-ball and minimize this upper bound during training time. We show that non-trivial bounds on the confidence for OOD data generalizing beyond the OOD dataset seen at training time are possible. Moreover, in contrast to certified adversarial robustness which typically comes with significant loss in prediction performance, certified guarantees for worst case OOD detection are possible without much loss in accuracy.

연구 동기 및 목표

• 안전이 중요한 애플리케이션에서 깊이 신경망이 분포 외(OOD) 입력에 대해 과도하게 확신을 갖는 문제를 해결하기 위해.
• 분포 외 데이터에 대해 분류기가 높은 신뢰도를 부여하지 않을 것임을 최악의 경우에 대해 증명 가능한 보장을 제공하기 위해.
• 일반적으로 적대적 예제에 대해 사용되는 증명 가능한 강건성 개념을 OOD 탐지로 확장하여, 훈련된 OOD 분포를 초월한 신뢰성을 보장하기 위해.
• 강력한 OOD 탐지 보장을 달성하면서도, 일반적으로 적대적 강건성에서 관찰되는 것과 같이 정확도가 크게 떨어지지 않도록 하기 위해.

제안 방법

• 이 방법은 간격 경계 전파(IBP)를 사용하여 주어진 OOD 점 주변의 $l_\infty$-구역 내에서 신경망이 어떤 입력에 대해 부여할 수 있는 최대 신뢰도의 상한을 계산한다.
• 훈련 중에 모델는 이 상한을 최소화하도록 최적화되며, 이로써 네트워크가 OOD 입력과 그 지역 주변에서 불확실하게 유지되도록 보장된다.
• 이 접근법은 OOD 점에서만 아니라 그 주변의 강건한 이웃 영역에서도 신뢰도가 낮게 유지되도록 강제함으로써, OOD 입력에 대한 최악의 경우 보장을 제공한다.
• 이 방법은 훈련 중에 관찰된 특정 OOD 데이터를 초월하여 일반화되며, 훈련 중에 보지 못한 OOD 분포에 대해서도 유효한 경계를 제공한다.
• 훈련 목표는 표준 교차 엔트로피 손실과 IBP 기반의 신뢰도 상한을 바탕으로 한 정규화 항을 조합하여 구성된다.

실험 결과

연구 질문

• RQ1 깊이 신경망이 분포 외 입력에 대해 과도하게 확신을 갖지 않을 것임을 증명 가능한 최악의 경우 보장할 수 있는가?
• RQ2 분포 외 점 뿐 아니라 그 주변의 $l_\infty$-구역 내에서도 낮은 신뢰도를 인증할 수 있는가?
• RQ3 이러한 증명 가능한 OOD 탐지 성능는 표준 내분포 정확도에 상당한 영향을 주지 않고 달성될 수 있는가?
• RQ4 증명 가능한 경계는 훈련 중에 보지 못한 OOD 데이터에 대해 얼마나 잘 일반화되는가?

주요 결과

• 이 방법은 훈련 중에 관찰된 특정 OOD 예제를 초월하여도, OOD 데이터에 대한 비어 있지 않은 증명 가능한 신뢰도 상한을 성공적으로 제공한다.
• 증명 가능한 OOD 탐지 성능는 내분포 데이터에서의 성능 저하 없이 달성 가능하며, 적대적 강건성에서 관찰되는 것과 같이 정확도가 크게 떨어지지 않는다.
• 간격 경계 전파를 사용함으로써 OOD 점 주변의 $l_\infty$-구역 내에서의 신뢰도 상한을 효율적이고 확장 가능한 방식으로 계산할 수 있다.
• 이 방법은 훈련 중에 보지 못한 OOD 분포로 일반화되며, 훈련된 OOD 집합에 국한되지 않는 강건성 보장을 제공한다.