[논문 리뷰] Towards Bayesian Deep Learning: A Survey

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|2016. 04. 06.

Image Retrieval and Classification Techniques참고 문헌 66인용 수 28

한 줄 요약

이 종합 검토에서는 인식과 추론, 계획을 위한 베이지안 확률 모델을 통합하는 베이지안 딥러닝을 통합된 프레임워크로 소개한다. 인식과 추론 간의 이중 방향 피드백을 가능하게 함으로써 추천, 토픽 모델링, 제어와 같은 작업에서 성능을 향상시키며, 통합된 인공지능을 위한 원칙적인 접근법을 제공한다.

ABSTRACT

While perception tasks such as visual object recognition and text understanding play an important role in human intelligence, the subsequent tasks that involve inference, reasoning and planning require an even higher level of intelligence. The past few years have seen major advances in many perception tasks using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. To achieve integrated intelligence that involves both perception and inference, it is naturally desirable to tightly integrate deep learning and Bayesian models within a principled probabilistic framework, which we call Bayesian deep learning. In this unified framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in return, the feedback from the inference process is able to enhance the perception of text or images. This survey provides a general introduction to Bayesian deep learning and reviews its recent applications on recommender systems, topic models, and control. In this survey, we also discuss the relationship and differences between Bayesian deep learning and other related topics like Bayesian treatment of neural networks.

연구 동기 및 목표

• 딥러닝의 인식과 베이지안 모델의 추론 간 격차를 메우며 통합된 인공지능을 가능하게 하기.
• 고차원 인지 작업을 위한 딥러닝과 베이지안 방법을 통합하는 원칙적인 확률 프레임워크를 제안하기.
• 추론 결과가 인식을 향상시키고, 반대로 개선된 인식이 추론 정확도를 향상시키는 피드백 루프를 어떻게 활용할 수 있는지 보여주기.
• 베이지안 딥러닝과 베이지안 신경망과 같은 유사 접근법 간의 차이점과 상호보완성을 명확히 하기.

제안 방법

• 딥뉴럴넷과 베이지안 추론을 결합하여 공동 인식과 추론을 위한 통합된 확률 프레임워크로 베이지안 딥러닝을 체계화하기.
• 이미지 및 텍스트 이해와 같은 인식 작업에서 특징 추출을 위해 딥러닝 활용하기.
• 불확실성 모델링과 추론, 계획 지원을 위해 베이지안 사전분포를 갖춘 확률적 그래픽 모델 적용하기.
• 이중 방향 피드백 구현: 추론 결과를 바탕으로 인식을 개선하고, 향상된 인식을 통해 추론 정확도를 향상시키기.
• 복잡한 사후분포를 근사하기 위해 변분 추론과 몬테카를로 방법 활용하기.
• 추천 시스템, 토픽 모델링, 강화학습 기반 제어와 같은 실제 작업에 프레임워크 적용하기.

실험 결과

연구 질문

• RQ1 딥러닝과 베이지안 모델을 단일 확률 프레임워크 내에서 통합하여 인식과 고차원 추론을 동시에 지원할 수 있는가?
• RQ2 베이지안 딥러닝과 신경망에 대한 베이지안 접근법 간의 핵심 차이점과 상호보완성은 무엇인가?
• RQ3 추론에서 온 피드백이 인식을 어떻게 향상시키며, 개선된 인식이 실제로 추론에 어떤 방식으로 기여하는가?
• RQ4 베이지안 딥러닝은 추천 시스템 및 제어 작업과 같은 실제 응용 분야에서 어떻게 성능을 발휘하는가?

주요 결과

• 베이지안 딥러닝은 딥러닝이 인식을 향상시키고, 베이지안 모델이 추론을 향상시키는 통합 프레임워크를 제공하여 더 견고하고 해석 가능한 AI 시스템을 가능하게 한다.
• 딥러닝과 베이지안 추론의 통합은 복잡한 작업에서 불확실성 정량화 및 일반화 능력 향상에 기여한다.
• 추천 시스템 응용 분야에서는 베이지안 딥러닝 모델이 사용자 선호도와 항목의 불확실성을 더 잘 포착함을 보였다.
• 토픽 모델링에서는 딥 표현 학습과 확률적 토픽 추론을 결합함으로써 가독성과 성능이 향상된다.
• 제어 작업에서는 인식과 추론 간 피드백 루프가 불확실성 하에서의 의사결정을 향상시킨다.
• 이 종합 검토는 베이지안 딥러닝이 표준 베이지안 신경망과 다름을 명확히 하며, 통합된 인지 모델링에 더 넓은 범위를 제공함을 강조한다.