[논문 리뷰] Towards Bayesian Deep Learning: A Framework and Some Existing Methods

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|2016. 08. 24.

Image Retrieval and Classification Techniques참고 문헌 45인용 수 16

한 줄 요약

이 논문은 인식을 위한 딥러닝과 추론을 위한 확률적 그래픽 모델을 통합하는 통합 베이지안 딥러닝(BDL) 프레임워크를 제안한다. 이는 상호 정보 교환을 가능하게 하여 이중 방향 정보 흐름을 제공한다. 베이지안 신경망과 구조화된 확률 모델을 결합함으로써 BDL은 추론 및 인식 구성 요소 간의 상호 피드백을 통해 추천, 의료 진단, 동적 시스템 제어와 같은 작업에서 원리적인 불확실성 처리를 통해 성능을 향상시킨다.

ABSTRACT

While perception tasks such as visual object recognition and text understanding play an important role in human intelligence, the subsequent tasks that involve inference, reasoning and planning require an even higher level of intelligence. The past few years have seen major advances in many perception tasks using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. To achieve integrated intelligence that involves both perception and inference, it is naturally desirable to tightly integrate deep learning and Bayesian models within a principled probabilistic framework, which we call Bayesian deep learning. In this unified framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in return, the feedback from the inference process is able to enhance the perception of text or images. This paper proposes a general framework for Bayesian deep learning and reviews its recent applications on recommender systems, topic models, and control. In this paper, we also discuss the relationship and differences between Bayesian deep learning and other related topics like Bayesian treatment of neural networks.

연구 동기 및 목표

• 딥러닝의 불확실성 처리 및 추론 능력의 한계를 확률적 그래픽 모델(PGM)과의 통합을 통해 해결한다.
• 복잡한 인공지능 작업을 위한 인식(딥러닝을 통한)과 추론(PGM을 통한)을 통합하는 원리적인 확률 프레임워크를 개발한다.
• 실제 응용에서 성능 향상을 위해 인식 및 추론 구성 요소 간 이중 방향 피드백을 가능하게 한다.
• 신경망을 사용해 확률 구성 요소를 매개변수화하는 확장성 있고 유연한 아키텍처를 제공한다.

제안 방법

• 딥러닝 모델을 인식 구성 요소로, PGM을 작업에 특화된 추론 구성 요소로 사용하는 일반적인 BDL 프레임워크를 제안한다.
• 사전 분포를 사용해 잠재 표현을 모델링함으로써 불확실성 정량화 및 정규화를 가능하게 하는 베이지안 신경망을 사용한다.
• 신경망을 사용해 핵심 확률 구성 요소인 인코딩, 전이, 재구성 등을 매개변수화하여 복잡한 비선형 사상 관계를 학습한다.
• 스토하스틱 그래디언트 변분 베이즈(SGVB) 및 관련 추론 알고리즘을 적용해 공동 모델을 효율적으로 훈련시킨다.
• 잠재 변수의 평균과 공분산에 대해 별도의 신경망을 설계함으로써 고정 분산 대비 더 높은 유연성을 확보한다.
• 양방향 정보 흐름을 가능하게 한다: 인식이 추론을 향상시키고, 추론 피드백이 인식 성능을 향상시킨다(의료 영상 해석 또는 제어 응용에서 예시로 활용 가능).

실험 결과

연구 질문

• RQ1 딥러닝과 확률적 그래픽 모델을 단일이고 원리적인 확률 프레임워크 내에서 체계적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 베이지안 신경망과 구조화된 PGM을 결합할 때 발생하는 주요 아키텍처 및 추론 과제는 무엇인가?
• RQ3 인식과 추론 간의 이중 방향 피드백이 추천 및 제어와 같은 작업에서 성능 향상에 어떻게 기여하는가?
• RQ4 표준 딥러닝에 비해 베이지안 딥러닝이 더 나은 불확실성 추정 및 일반화 성능을 제공하는 방식은 무엇인가?

주요 결과

• BDL 프레임워크는 딥러닝 기반 인식과 PGM 기반 추론 간의 상호보완적 상호작용을 가능하게 하여 복잡한 작업에서 성능 향상을 이룬다.
• 신경망을 사용해 확률 구성 요소(예: 잠재 변수의 평균 및 공분산)를 매개변수화한 BDL 모델은 고정 구조 모델보다 더 높은 유연성을 제공한다.
• 네트워크 가중치에 대한 베이지안 사전분포의 사용은 암묵적 정규화를 제공하여 과적합을 줄이며, 특히 데이터가 적은 환경에서 유리하다.
• 잠재 상태 전이와 이미지 재구성을 사용하는 BDL 기반 제어 모델은 반복적인 인식-추론 루프를 통해 효과적인 비디오 기반 동적 시스템 제어를 달성한다.
• 추천 시스템, 토픽 모델링, 스토하스틱 제어 분야의 응용 사례는 프레임워크의 유연성과 성능 향상을 입증한다.
• 스토하스틱 그래디언트 변분 베이즈 및 관련 추론 알고리즘은 BDL 모델의 확장 가능한 훈련을 가능하게 하여 실세계 적용을 지원한다.