[논문 리뷰] Quantifying Aleatoric and Epistemic Uncertainty Using Density Estimation in Latent Space.

Janis Postels, Hermann Blum외 4명|arXiv (Cornell University)|2020. 12. 05.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 14

한 줄 요약

이 논문은 신경망의 잠재 표현 분포를 분석함으로써 앨레토릭 불확실성과 엡스티믹 불확실성을 정량화하는 방법을 제안한다. 밀도 추정을 잠재 공간에서 수행함으로써, 엡스티믹 불확실성은 잠재 활성화의 음의 로그우도와 상관관계가 있으며, 앨레토릭 불확실성은 이러한 표현 조건 하에서의 예측 분포의 엔트로피를 통해 측정됨을 입증한다. 이는 분류 및 회귀 모델에서 양 형태의 불확실성을 검증한다.

ABSTRACT

The distribution of a neural network's latent representations has been successfully used to detect Out-of-Distribution (OOD) data. Since OOD detection denotes a popular benchmark for epistemic uncertainty estimates, this raises the question of a deeper correlation. This work investigates whether the distribution of latent representations indeed contains information about the uncertainty associated with the predictions of a neural network. Prior work identifies epistemic uncertainty with the surprise, thus the negative log-likelihood, of observing a particular latent representation, which we verify empirically. Moreover, we demonstrate that the output-conditional distribution of hidden representations allows quantifying aleatoric uncertainty via the entropy of the predictive distribution. We analyze epistemic and aleatoric uncertainty inferred from the representations of different layers and conclude with the exciting finding that the hidden repesentations of a deterministic neural network indeed contain information about its uncertainty. We verify our findings on both classification and regression models.

연구 동기 및 목표

• 신경망의 잠재 표현 분포가 예측 불확실성에 대한 정보를 담고 있는지 조사하기.
• 특히 놀라움(음의 로그우도)의 관점에서, 잠재 공간 밀도와 엡스티믹 불확실성 간의 관계 탐색하기.
• 은닉 표현의 출력 조건부 분포의 엔트로피를 사용하여 앨레토릭 불확실성 정량화하기.
• 다양한 네트워크 레이어와 모델 유형(분류 및 회귀) 간의 불확실성 정량화 성능 평가하기.
• 결정론적 신경망이 본질적으로 은닉 표현에 불확실성 정보를 포함하고 있음을 경험적으로 검증하기.

제안 방법

• 신경망의 잠재 표현에 밀도 추정을 적용하여 그 확률 분포를 모델링한다.
• 엡스티믹 불확실성은 학습된 밀도 모델 하에서 잠재 표현의 음의 로그우도로 추정된다.
• 앨레토릭 불확실성은 잠재 표현 조건 하에서의 예측 분포의 엔트로피를 계산하여 정량화된다.
• 불확실성의 전파를 분석하기 위해 이 방법을 네트워크의 여러 레이어에 적용한다.
• 일반화 성능 평가를 위해 분류 및 회귀 작업에 대해 이 접근법을 평가한다.
• 잠재 분포의 놀라움과 불확실성 간의 상관관계를 확인하기 위해 표준 OOD 탐지 벤치마크를 사용해 경험적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 신경망의 잠재 표현 분포가 엡스티믹 불확실성에 대한 정보를 담고 있는가?
• RQ2 잠재 활성화의 음의 로그우도를 사용해 엡스티믹 불확실성을 효과적으로 정량화할 수 있는가?
• RQ3 은닉 표현의 출력 조건부 분포의 엔트로피를 통해 앨레토릭 불확실성을 캡처할 수 있는가?
• RQ4 불확실성은 신경망의 다양한 레이어에서 어떻게 변화하는가?
• RQ5 제안된 방법은 분류 및 회귀 모델 모두에 효과적인가?

주요 결과

• 엡스티믹 불확실성은 잠재 표현의 놀라움(음의 로그우도)과 강하게 상관관계가 있으며, 이는 그(proxy)로서의 유용성을 확인한다.
• 앨레토릭 불확실성은 잠재 표현 조건 하에서의 예측 분포의 엔트로피로 효과적으로 정량화된다.
• 결정론적 신경망의 은닉 표현은 양 형태의 불확실성에 대한 의미 있는 정보를 포함하고 있다.
• 잠재 공간 밀도에서 유도된 불확실성 추정치는 다양한 네트워크 레이어와 아키텍처에서 일관되게 유지된다.
• OOD 탐지 벤치마크에서 검증된 바와 같이, 이 방법은 분류 및 회귀 작업 모두에서 신뢰할 수 있는 불확실성 정량화를 달성한다.
• 결과는 결정론적 딥 러닝 모델에서 잠재 공간 밀도 추정을 일반 목적의 불확실성 정량화 기법으로 사용할 것을 지지한다.