[논문 리뷰] Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models

Daniel T. Chang|arXiv (Cornell University)|2021. 05. 31.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 10

한 줄 요약

이 논문은 확률적 신경망(PNN)과 심층 확률 모델(DPM)을 구분함으로써 확률적 딥 러닝을 위한 통합 프레임워크를 제안한다. PNN는 확률적 레이어를 통해 불확실성을 내장하는 반면, DPM은 심층 신경망을 확률적 그래픽 모델에 통합하여 복잡한 비선형 스토케스틱 관계를 포착한다. 이는 텐서플로우 프로브러bilt리(_tfprobability_)를 사용하여 뉴럴 네트워크 기반 베이지안 모델, 변분 오토인코더, 심층 가우시안 프로세스 등에 확률적 추론을 적용함으로써 불확실성 인식 딥 러닝을 가능하게 한다.

ABSTRACT

Probabilistic deep learning is deep learning that accounts for uncertainty, both model uncertainty and data uncertainty. It is based on the use of probabilistic models and deep neural networks. We distinguish two approaches to probabilistic deep learning: probabilistic neural networks and deep probabilistic models. The former employs deep neural networks that utilize probabilistic layers which can represent and process uncertainty; the latter uses probabilistic models that incorporate deep neural network components which capture complex non-linear stochastic relationships between the random variables. We discuss some major examples of each approach including Bayesian neural networks and mixture density networks (for probabilistic neural networks), and variational autoencoders, deep Gaussian processes and deep mixed effects models (for deep probabilistic models). TensorFlow Probability is a library for probabilistic modeling and inference which can be used for both approaches of probabilistic deep learning. We include its code examples for illustration.

연구 동기 및 목표

• 불확실성 인식 딥 러닝의 맥락에서 확률적 신경망(PNN)과 심층 확률 모델(DPM) 간의 차이를 명확히 하기 위해.
• 베이지안 신경망, 혼합 밀도 네트워크, 변분 오토인코더, 심층 가우시안 프로세스, 심층 혼합 효과 모델과 같은 핵심 아키텍처에 대한 종합적인 개요를 제공하기 위해.
• 텐서플로우 프로브러bilt리로 PNN 및 DPM 접근법의 실용적 구현을 보여주기 위해.
• 실세계 머신러닝 응용에서 데이터 불확실성과 모델 불확실성을 모두 고려할 수 있는 모델의 필요성을 해결하기 위해.

제안 방법

• 확률적 레이어를 사용하여 신경망 내부의 불확실성을 표현하고 전파하는 확률적 신경망(PNN)을 제안한다.
• 심층 신경망과 확률적 그래픽 모델을 결합하여 비선형 스토케스틱 관계를 포착하는 심층 확률 모델(DPM)을 도입한다.
• 특히 신경망의 가중치 분포를 통해 모델 불확실성을 정량화하기 위해 PNN에서 베이지안 추론 기법을 적용한다.
• 변분 추론과 암시적 추론을 DPM(예: 변분 오토인코더, 심층 가우시안 프로세스)에 적용하여 고차원 데이터에 대한 확률적 모델링을 스케일링한다.
• 엔드 투 엔드로 미분 가능한 확률적 레이어를 갖춘 PNN 및 DPM 아키텍처를 구현하고 훈련하기 위해 텐서플로우 프로브러bilt리를 통합 라이브러리로 활용한다.
• 모든 접근법에 대한 코드 예제를 제시하여 확률적 레이어 정의, 사후 추론 수행, 불확실성 인식 예측 수행 방법을 보여준다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 예측의 불확실성을 명시적으로 모델링하고 전파하기 위해 어떻게 확장될 수 있는가?
• RQ2 확률적 신경망과 심층 확률 모델 간의 핵심 아키텍처적 및 방법론적 차이는 무엇인가?
• RQ3 베이지안 신경망과 혼합 밀도 네트워크는 회귀 및 분류 작업에서 불확실성 정량화를 어떻게 가능하게 하는가?
• RQ4 변분 오토인코더와 심층 가우시안 프로세스는 어떻게 심층 신경망을 활용하여 복잡한 비선형 스토케스틱 의존성을 모델링하는가?
• RQ5 실제로 PNN 및 DPM 접근법을 구현하고 스케일링하기 위해 텐서플로우 프로브러bilt리는 어떻게 효과적으로 활용될 수 있는가?

주요 결과

• 확률적 신경망(PNN)은 가중치에 사전분포를 설정하고 베이지안 추론을 수행함으로써 매개변수 불확실성을 효과적으로 모델링하여 불확실성 인식 예측을 가능하게 한다.
• 변분 오토인코더와 심층 가우시안 프로세스와 같은 심층 확률 모델(DPM)은 심층 신경망 구성요소를 활용하여 변수 간의 복잡한 비선형 스토케스틱 관계를 성공적으로 포착한다.
• PNN 내 혼합 밀도 네트워크(MDNs)는 다중 모달 출력 분포를 모델링할 수 있어 복잡한 조건부 밀도를 가진 회귀 작업에서 성능을 향상시킨다.
• DPM 내 변분 오토인코더(VAEs)는 불확실성 전파를 수반하는 구조화된 잠재 공간을 학습함으로써 고차원 데이터의 효과적인 생성 모델링을 수행한다.
• 심층 가우시안 프로세스(DGPs)는 계층적이고 비선형 시스템에서의 불확실성 모델링에 뛰어난 성능을 보이며, 특히 복잡한 불확실성 구조를 가진 회귀 및 분류 작업에서 유용하다.
• 텐서플로우 프로브러bilt리는 PNN 및 DPM 접근법의 일관되고 확장 가능한 구현을 가능하게 하며, 확률적 레이어를 활용한 엔드 투 엔드 훈련 및 추론을 지원한다.