[논문 리뷰] A Survey on Uncertainty Quantification Methods for Deep Learning

Wenchong He, Zhe Jiang외 3명|arXiv (Cornell University)|2023. 02. 26.

Adversarial Robustness in Machine Learning인용 수 26

한 줄 요약

이 설문은 데이터 원인과 모델 원인으로 DNN 불확실성 정량화 방법을 분류하고 그 장단점과 적용에 대해 논의한다.

ABSTRACT

Deep neural networks (DNNs) have achieved tremendous success in computer vision, natural language processing, and scientific and engineering domains. However, DNNs can make unexpected, incorrect, yet overconfident predictions, leading to serious consequences in high-stakes applications such as autonomous driving, medical diagnosis, and disaster response. Uncertainty quantification (UQ) estimates the confidence of DNN predictions in addition to their accuracy. In recent years, many UQ methods have been developed for DNNs. It is valuable to systematically categorize these methods and compare their strengths and limitations. Existing surveys mostly categorize UQ methodologies by neural network architecture or Bayesian formulation, while overlooking the uncertainty sources each method addresses, making it difficult to select an appropriate approach in practice. To fill this gap, this paper presents a taxonomy of UQ methods for DNNs based on uncertainty sources (e.g., data versus model uncertainty). We summarize the advantages and disadvantages of each category, and illustrate how UQ can be applied to machine learning problems (e.g., active learning, out-of-distribution robustness, and deep reinforcement learning). We also identify future research directions, including UQ for large language models (LLMs), AI-driven scientific simulations, and deep neural networks with structured outputs.

연구 동기 및 목표

• 고위험 분야에서의 과신하는 DNN 예측에 대응함으로써 신뢰할 수 있는 AI를 촉진한다.
• 아키텍처나 베이지안 관점에만 의존하지 않고 불확실성 원인(데이터 vs. 모델)에 기반한 UQ 방법의 계통을 제안한다.
• 각 불확실성 원인 범주 내 UQ 방법의 장점과 단점을 요약한다.
• 활동적 학습(active learning), 로버스트니스, 강화 학습 등의 응용과 UQ 분류를 연결한다.
• DNN의 UQ에서 연구 격차를 식별하고 향후 방향을 제시한다.

제안 방법

• 데이터 불확실성, 모델 불확실성 및 이들의 결합으로 분류된 UQ 방법의 체계적 분류를 제시한다.
• 데이터 불확실성을 aleatoric으로, 모델 불확실성을 epistemic으로 설명하고 각각에 대한 표현으로 (데이터의 경우 판별적(discriminative) 대 생성적(generative); 데이터에 대해 베이지안 신경망, 앙상블, 샘플-밀도 모델)으로 제시한다.
• 사후 근사 기법(변분 추론, 라플라스 근사, MCMC)을 포함한 베이지안 신경망과 이들의 트레이드오프를 논의한다.
• 불확실성 포착을 위한 전체 베이지안 처리의 대안으로 앙상블 및 증거 학습(evidential learning) 접근법을 설명한다.
• 예측 불확실성의 보정과 현대 DNN에 대한 사후 근사 확장의 확장성 문제를 강조한다.

실험 결과

연구 질문

• RQ1 아키텍처나 베이지안 관점이 아닌 불확실성 원인(데이터 vs. 모델)에 따라 DNN 예측의 불확실성을 체계적으로 분류할 수 있는가?
• RQ2 데이터 불확실성, 모델 불확실성, 또는 이들의 조합을 다루는 방법의 각 적용에서 상대적 장점과 한계는 무엇인가?
• RQ3 제안된 불확실성 원인 분류가 Active Learning, robustness, reinforcement learning과 같은 작업에서 방법 선택을 어떻게 안내하는가?
• RQ4 딥러닝의 불확실성 정량화에서 현재의 간극과 유망한 방향은 무엇인가?
• RQ5 의료, 지질학, 운송 등과 같은 고위험 도메인에서 데이터 및 모델 불확실성은 어떻게 상호작용하는가?

주요 결과

• 새로운 분류법은 모델 아키텍처나 베이지안 프레이밍에만 의존하기보다는 불확실성 원인으로 UQ 방법을 구성한다.
• 데이터 불확실성은 데이터의 본질적인 노이즈를 반영하기 위해 출력 분포를 모델링하는 판별적(discriminative) 및 생성적(generative) 접근법으로 다룬다.
• 모델 불확실성은 매개변수, 아키텍처, 분포-시프트 불확실성을 포착하기 위해 베이지안 신경망, 앙상블, 샘플-밀도 모델을 통해 다룬다.
• 데이터와 모델 불확실성을 결합하면 포괄적인 시야를 제공하지만 계산 및 저장 요구가 증가하며, 증거 기반 딥 러닝은 더 효율적인 대안을 제공한다.
• 설문은 UQ 분류를 실제 도메인(의료, 지질학, 운송, 생화학)과 연결하고 응용별 문제와 향후 방향을 논의한다.