[논문 리뷰] Towards Maximizing the Representation Gap between In-Domain & Out-of-Distribution Examples

Jay Nandy, Wynne Hsu외 1명|arXiv (Cornell University)|2020. 10. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 20

한 줄 요약

이 논문은 디리클레 사전 분포의 정밀도를 명시적으로 정규화하여 도메인 내 및 도메인 외(OOD) 예제 간의 표현 간격을 최대화하는 새로운 손실 함수를 제안한다. 평균과 정밀도 최적화를 분리함으로써, 이 방법은 OOD 탐지 성능을 향상시켜 CIFAR-10 및 STL-10에서 near-perfect AUROC 점수를 포함한 여러 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Among existing uncertainty estimation approaches, Dirichlet Prior Network (DPN) distinctly models different predictive uncertainty types. However, for in-domain examples with high data uncertainties among multiple classes, even a DPN model often produces indistinguishable representations from the out-of-distribution (OOD) examples, compromising their OOD detection performance. We address this shortcoming by proposing a novel loss function for DPN to maximize the extit{representation gap} between in-domain and OOD examples. Experimental results demonstrate that our proposed approach consistently improves OOD detection performance.

연구 동기 및 목표

• 기존 DPN 모델에서 높은 데이터 불확실성으로 인해 평균적인 디리클레 분포가 OOD 예제와 구별되지 않는 한계를 해결하기 위해.
• 도메인 내 및 OOD 예제 간의 표현 간격을 명시적으로 최대화하여 OOD 탐지 성능을 향상시키기 위해.
• 디리클레 출력의 평균과 정밀도를 별도로 모델링할 수 있도록 손실 함수를 설계하여 불확실성의 분리가 가능하도록 하기 위해.
• 도메인 내 예제의 데이터 불확실성이 높은 상황에서도 강건한 OOD 탐지 성능을 달성하기 위해.

제안 방법

• 표준 교차 엔트로피 손실과 새로운 명시적 정밀도 정규화 항을 분리하여, 디리클레 분포의 평균과 정밀도를 별도로 최적화할 수 있도록 하는 새로운 손실 함수를 제안한다.
• OOD 예제에 대해 날카롭고 다중 모달인 디리클레 분포를 유도하는 정밀도 정규화 항을 도입하여, 도메인 내 예제와의 표현 간격을 증가시킨다.
• 높은 불확실성의 도메인 내 케이스에서 타겟 정밀도 값이 겹치는 클래스들 사이에 분포되는 것을 방지하기 위해 표준 DPN 손실을 수정한다.
• 두 단계 최적화를 사용한다: 첫 번째로 평균 예측을 위한 표준 교차 엔트로피 손실을 적용하고, 두 번째로 정밀도 정규화 항을 통해 OOD 예측의 흩어짐과 날카움을 강제로 유도한다.
• OOD에 대해서는 평탄함을, 도메인 내 예제에 대해서는 날카움을 유도하기 위해 동적으로 조정되는 타겟 정밀도 값을 활용한다.
• 모델을 도메인 내 및 OOD 예제를 모두 사용하여 훈련함으로써 표현 공간에서의 구별을 명시적으로 학습한다.

실험 결과

연구 질문

• RQ1 수정된 DPN 손실 함수가 도메인 내 및 OOD 예제 간의 표현 간격을 효과적으로 증가시킬 수 있는가?
• RQ2 DPN에서 평균과 정밀도 최적화를 분리하면 높은 데이터 불확실성 하에서도 OOD 탐지 성능이 향상되는가?
• RQ3 명시적 정밀도 정규화가 높은 불확실성을 가진 도메인 내 예제가 OOD로 잘못 분류되는 것을 방지할 수 있는가?
• RQ4 제안된 방법은 다양한 데이터셋에서 기존의 OOD 탐지 기준 성능과 비교해 볼 때 어떻게 성능을 내는가?
• RQ5 이 방법은 다양한 데이터 분포와 OOD 이동 유형에서도 높은 성능을 유지하는가?

주요 결과

• CIFAR-10에서 제안된 DPN+는 99.2% AUROC를 기록하여 DPNrev(85.4%)를 크게 앞서며, DPN−(99.7% AUROC이지만 정밀도가 3.5%에 불과함)와 비교해도 뛰어난 성능을 보였다.
• CIFAR-100에서 DPN+는 99.0% AUPR과 99.5% AUROC를 달성하여 DPNrev(85.0% AUROC)와 DPN−(99.0% AUROC이지만 정밀도가 7.5%임)를 모두 초월했다.
• STL-10에서 DPN+는 100.0% AUROC와 100.0% AUPR을 기록하여 DPNrev(99.5% AUROC)와 DPN−(100.0% AUROC이지만 정밀도가 0.2%임)를 압도했다.
• Places365에서 DPN+는 100.0% AUROC와 100.0% AUPR을 달성하여 DPNrev(99.1% AUROC)와 DPN−(99.9% AUROC이지만 정밀도가 0.8%임)를 크게 앞섰다.
• Textures에서 DPN+는 98.4% AUROC와 97.9% AUPR를 기록하여 DPNrev(92.6% AUROC)와 DPN−(98.7% AUROC이지만 정밀도가 19.3%임)를 뛰어넘었다.
• 이 방법은 모든 데이터셋에서 근사적으로 완벽한 OOD 탐지 성능을 일관되게 달성했으며, 낮은 정밀도와 열악한 OOD 구별 능력을 보이는 DPN−에 비해 DPN+가 더 뛰어난 일반화 및 강건성을 보였다.