[논문 리뷰] Morse Neural Networks for Uncertainty Quantification

Benoît Dherin, Huiyi Hu외 3명|arXiv (Cornell University)|2023. 07. 02.

Anomaly Detection Techniques and ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 모드를 고차원 부분다양체로 모델링함으로써 비정규화된 가우시안 밀도를 일반화하는 모스 신경망을 소개한다. 이는 통합된 불확실성 정량화를 가능하게 한다. 특징 임bedding에 대한 KL 발산 손실을 최소화함으로써, OOD 탐지, 校정된 불확실성, 생성 샘플링, 거리 인식 분류를 동시에 제공한다. 사전 학습된 미세조정을 통해 CIFAR-100 OOD 탐지에서 0.969의 AUROC를 달성한다.

ABSTRACT

We introduce a new deep generative model useful for uncertainty quantification: the Morse neural network, which generalizes the unnormalized Gaussian densities to have modes of high-dimensional submanifolds instead of just discrete points. Fitting the Morse neural network via a KL-divergence loss yields 1) a (unnormalized) generative density, 2) an OOD detector, 3) a calibration temperature, 4) a generative sampler, along with in the supervised case 5) a distance aware-classifier. The Morse network can be used on top of a pre-trained network to bring distance-aware calibration w.r.t the training data. Because of its versatility, the Morse neural networks unifies many techniques: e.g., the Entropic Out-of-Distribution Detector of (Macêdo et al., 2021) in OOD detection, the one class Deep Support Vector Description method of (Ruff et al., 2018) in anomaly detection, or the Contrastive One Class classifier in continuous learning (Sun et al., 2021). The Morse neural network has connections to support vector machines, kernel methods, and Morse theory in topology.

연구 동기 및 목표

• 딥 러닝에서 외부 분포(OOD) 입력에 대한 불확실성 정량화의 핵심 과제를 해결하기 위해.
• OOD 탐지, 이상 탐지, 校정된 분류 기법들을 단일 딥 생성 모델 프레임워크 아래 통합하기 위해.
• 데이터 모드를 이산적인 점이 아니라 부분다양체로 모델링함으로써 거리 인식 분류를 가능하게 하기 위해.
• 사전 학습된 네트워크 위에 적용할 수 있는 탄력적이고 종단 간(end-to-end) 방법을 제공하여 불확실성 추정을 향상시키기 위해.

제안 방법

• 모스 신경망은 특징 공간 내 고정된 기준점 a와의 커널 유사도 K(φθ(x), a)를 사용하여 비정규화된 밀도 μ(x) = K(φθ(x), a)를 모델링한다.
• 비지도 학습의 경우, 경험적 데이터 분포와 커널 기반 밀도 사이의 KL 발산을 최소화하며, 균일하게 샘플된 점들로부터 온 정규화 항을 포함한다.
• 지도 학습의 경우, 원-핫 인코딩된 레이블을 사용하여 연합 밀도 μ(x,y) = K(φθ(x), y)를 모델링함으로써 연합 밀도 추정과 거리 인식 분류를 동시에 가능하게 한다.
• 가우시안, 코시, 라플라스 커널과 같은 커널 함수를 사용하여 밀도의 형태와 불확실성 및 OOD 탐지 간의 관계를 제어한다.
• 분류기는 μ(y|x) = K(φθ(x), y) / ∑y′ K(φθ(x), y′)로 유도되며, 라플라스 커널을 사용할 경우 엔트로피 기반 OOD 탐지기와 일치한다.
• 랜덤 초기점에서의 기울기 유동을 통해 생성 샘플링이 가능해지며, 포isson 생성 모델에 영감을 받았다.

Figure 1: Top row (distance-aware calibration): Left: Probability output of a ResNet trained to separate the noisy two-moons dataset. Middle and Right: Probability plots of the same ResNet but with its logits calibrated using the unsupervised Gaussian Morse temperature at decreasing kernel bandwidth

실험 결과

연구 질문

• RQ1 단일 딥 생성 모델이 OOD 탐지, 불확실성 校정, 생성 샘플링을 통합할 수 있는가?
• RQ2 모드를 부분다양체로 모델링할 경우, 점 모드 밀도 대비 불확실성 정량화에 어떤 개선이 이루어지는가?
• RQ3 모스 네트워크는 백본을 재학습하지 않고도 사전 학습된 모델의 불확실성 추정을 향상시킬 수 있는가?
• RQ4 지도 학습된 모스 네트워크가 비지도 학습 버전보다 더 나은 OOD 탐지를 달성하는가?
• RQ5 모스 네트워크는 SVDD, SNGP, 엔트로피 기반 OOD 탐지기와 같은 기존 방법과 어떤 관계가 있는가?

주요 결과

• 지도 학습된 모스 네트워크는 CIFAR-100 OOD 탐지에서 비지도 학습 시 0.955에서 0.969로 AUROC를 향상시켜 일반화 능력 향상을 입증했다.
• 라플라스 커널을 사용한 모스 네트워크는 맥세두 등(2021)의 엔트로피 기반 OOD 분류기와 일치하여 설계 선택의 타당성을 검증했다.
• 코시 커널을 사용할 경우, SNGP의 온도 매개변수와 유사한 것을 복원하지만, 행렬 역행렬 계산 대신 학습된 분산을 사용한다.
• 가우시안 커널을 사용한 비지도 모스 네트워크는 1-클래스 딥 SVDD 목표 함수로 축소되며, 이는 이론적 기반을 확인한다.
• 구조적으로 거리 인식 분류가 가능하며, 훈련 데이터 모드에서 멀어질수록 불확실성이 증가한다.
• 시각화 결과는 지도 학습된 모스 네트워크가 비지도 버전보다 더 나은 분리된 모드 부분다양체를 포착함을 보여준다.

Figure 2: Supervised Morse model: The supervised Morse model is able to learn disconnected mode submanifolds for each of the labels. The model architecture and training setup is the same as the unsupervised case described above, except for the output layer that has a dimension of 2 (one dimension pe