[논문 리뷰] A Survey on Bayesian Deep Learning

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|2016. 04. 06.

Machine Learning and Data Classification참고 문헌 104인용 수 14

한 줄 요약

이 종합 검토에서는 인식에 대한 딥러닝과 추론에 대한 확률적 그래픽 모델을 통합하는 통합된 확률적 프레임워크로 베이지안 딥러닝(BDL)을 소개한다. 이는 불확실성 정량화와 더불어 강건성 향상을 가능하게 한다. BDL의 응용 사례로 추천 시스템, 헬스케어, 자연어 처리, 제어 분야를 다루며, 베이지안 원리에 기반한 인식과 추론의 통합 모델링을 통해 최신 기술 수준의 성능을 입증한다.

ABSTRACT

A comprehensive artificial intelligence system needs to not only perceive the environment with different `senses' (e.g., seeing and hearing) but also infer the world's conditional (or even causal) relations and corresponding uncertainty. The past decade has seen major advances in many perception tasks such as visual object recognition and speech recognition using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. In recent years, Bayesian deep learning has emerged as a unified probabilistic framework to tightly integrate deep learning and Bayesian models. In this general framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in turn, the feedback from the inference process is able to enhance the perception of text or images. This survey provides a comprehensive introduction to Bayesian deep learning and reviews its recent applications on recommender systems, topic models, control, etc. Besides, we also discuss the relationship and differences between Bayesian deep learning and other related topics such as Bayesian treatment of neural networks. For a constantly updating project page, please refer to https://github.com/js05212/BayesianDeepLearning-Survey.

연구 동기 및 목표

• 딥러닝의 인식 능력과 확률적 추론의 통합 프레임워크로서 베이지안 딥러닝(BDL)의 포괄적인 개요를 제시하는 것.
• 딥러닝이 불확실성과 인과 추론을 다루는 데에 한계가 있음을 고려하여, 베이지안 네트워크와 확률적 그래픽 모델을 통합함으로써 이를 보완하는 것.
• 의료, 추천 시스템, 제어와 같은 실제 응용 분야에서 BDL이 성능과 해석 가능성 향상에 어떻게 기여하는지 보여주는 것.
• BDL과 베이지안 신경망, 표준 PGM과 같은 유사 접근법 간의 차이점을 명확히 하는 것.
• 확장성, 해석 가능성, 복잡한 의존성 모델링과 관련된 열린 과제와 향후 연구 방향을 식별하는 것.

제안 방법

• BDL 모델은 인식(예: 이미지 또는 텍스트 처리)을 위한 딥러닝 구성요소와 조건부 의존성 및 불확실성을 모델링하기 위한 작업별 베이지안 네트워크로 구성된다.
• 모델 파라미터의 사후 분포를 근사하기 위해 변분 추론과 확률적 경량 변분 베이즈(SGVB)를 활용한다.
• 예측의 불확실성 정량화를 가능하게 하기 위해 베이지안 신경망(BNNs)을 인식 구성요소로 사용한다.
• 작업별 구성요소는 베이지안 네트워크로 모델링되어 변수 간의 인과관계 및 조건부 관계를 명시적으로 표현할 수 있다.
• 인식과 추론 간의 피드백 루프가 형식화되어 상호 보완적 개선이 가능하다(예: 추론이 인식을 지시하고, 인식이 추론에 영향을 준다).
• 특히 데이터가 부족한 경우나 희귀 데이터에 대해 강건성을 향상시키고 도메인 지식을 통합하기 위해 모델 구조에 사전 분포를 통합한다.

실험 결과

연구 질문

• RQ1 베이지안 딥러닝은 어떻게 딥러닝의 인식 능력과 확률적 그래픽 모델의 추론 기능을 통합할 수 있는가?
• RQ2 BDL 모델에서 효과적인 불확실성 정량화를 가능하게 하는 핵심 아키텍처 및 추론 구성요소는 무엇인가?
• RQ3 표준 딥러닝에 비해 BDL은 의료 및 추천 시스템과 같은 응용 분야에서 성능과 강건성을 어떻게 향상시키는가?
• RQ4 베이지안 사전분포와 모델 평균화는 낮은 데이터 환경에서 일반화 능력을 어떻게 향상시키는가?
• RQ5 BDL 모델의 확장성 문제는 무엇이며, 효율적인 BNN의 최근 발전은 이를 어떻게 극복하는 데 기여하는가?

주요 결과

• RNN 기반 인식과 구조화된 의존성 모델링을 결합함으로써 BDL 모델은 시계열 예측 분야에서 최신 기술 수준의 성능을 달성한다.
• 의료 응용 분야에서 DeepMarkov와 DPFM와 같은 BDL 모델은 불확실성 정량화를 통해 역행성 추론과 전자 의료 기록의 강건한 분석을 가능하게 한다.
• BBFDR와 같은 모델에 베이지안 사전분포를 통합함으로써 암 치료제 스크리닝에서 효과적인 거짓 발견률 제어가 가능해졌으며, 통계적 추론의 신뢰성이 향상되었다.
• BDL 기반 추천 시스템은 사용자 선호도, 아이템 콘텐츠, 사용자-아이템 유사도를 모두 불확실성 인식 추론을 통해 통합 모델링함으로써 비베이지안 모델을 능가하는 성능을 보였다.
• BDL에서 이중 방향 추론 네트워크를 사용하면 더 깊고 표현력 있는 조건부 분포를 구현할 수 있어, 건강 프로파일링 및 유사 작업에서 성능 향상이 이루어졌다.
• BDL 프레임워크는 음성 인식 분야에서 상당한 성능 향상을 보였으며, 관계 기반의 발화 구조를 모델링하는 DeepGraph 랜덤 프로세스와 같은 모델을 통해 단어 오류율을 감소시켰다.