[논문 리뷰] ZhuSuan: A Library for Bayesian Deep Learning

Jiaxin Shi, Jianfei Chen외 5명|arXiv (Cornell University)|2017. 09. 18.

Gaussian Processes and Bayesian Inference참고 문헌 50인용 수 36

한 줄 요약

ZhuSuan은 베이지안 딥 러닝을 위한 텐서플로우 기반의 파이토치 호환 확률 프로그래밍 라이브러리로, 유연한 복잡한 확률 모델의 모델링과 미분 가능 변분 추론 및 몬테카를로 방법을 통한 효율적인 베이지안 추론을 가능하게 한다. 이는 딥 러닝 패러다임을 모듈성, 투명성, 조합 가능성 있는 구성 요소를 통해 GPU에서의 종단 간 확률 모델링 및 훈련과 통합한다.

ABSTRACT

In this paper we introduce ZhuSuan, a python probabilistic programming library for Bayesian deep learning, which conjoins the complimentary advantages of Bayesian methods and deep learning. ZhuSuan is built upon Tensorflow. Unlike existing deep learning libraries, which are mainly designed for deterministic neural networks and supervised tasks, ZhuSuan is featured for its deep root into Bayesian inference, thus supporting various kinds of probabilistic models, including both the traditional hierarchical Bayesian models and recent deep generative models. We use running examples to illustrate the probabilistic programming on ZhuSuan, including Bayesian logistic regression, variational auto-encoders, deep sigmoid belief networks and Bayesian recurrent neural networks.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 불확실성 인식 모델링을 가능하게 하여 베이지안 방법과 딥 러닝 간 격차를 메우는 것.
• 특히 복잡한 계층적 구조와 딥 생성 모델을 포함한 확률 모델을 구축하고 훈련하기 위한 유연하고 조합 가능하며 투명한 프레임워크를 제공하는 것.
• 특히 미분 가능한 변분 추론과 몬테카를로 샘플링을 포함한 현대적 베이지안 추론 기법을 딥 러닝 우호적인 계산 그래프 프레임워크 내에서 지원하는 것.
• 기존의 확률 프로그래밍 라이브러리가 제어 흐름과 모델 재사용을 다룰 때 겪는 한계, 특히 확률적 계산과 복잡한 종속성을 가진 모델에서의 문제를 해결하는 것.
• 오픈소스, GPU 가속, 확장 가능한 라이브러리를 통해 베이지안 딥 러닝 분야의 연구 및 응용을 가속화하는 것.

제안 방법

• ZhuSuan은 자동 미분과 GPU 가속을 가능하게 하기 위해 텐서플로우의 계산 그래프를 기반으로 구축되어, 확률 모델의 종단 간 훈련을 가능하게 한다.
• 변분 추론과 몬테카를로 방법을 모두 지원하며, 딥 러닝 최적화와 호환되는 미분 가능한 추론 기법에 중점을 둔다.
• 그래프 복사 대신 함수 재사용과 컨텍스트 관리를 사용함으로써, tf.while_loop 및 tf.scan과 같은 제어 흐름 연산의 정확한 처리를 가능하게 한다.
• 스토캐스틱 레이어와 분포를 포함한 모듈성 있는 원자적 구성 요소를 제공하여 확률 모델 정의를 가능하게 하며, 계층적 베이지안 모델과 딥 생성 모델에 대한 완전한 지원을 제공한다.
• 추론은 변분 목표의 최적화로 정의되어, 표준 딥 러닝 최적화 파ip라인을 사용한 기울기 기반 훈련을 가능하게 한다.
• 디자인은 투명성과 조합 가능성에 중점을 두어, 모델링, 추론, 최적화 구성 요소를 별도로 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크 내에서 딥 생성 모델과 베이지안 신경망을 원천적으로 지원할 수 있도록 확률 프로그래밍 라이브러리를 어떻게 설계할 수 있는가?
• RQ2 복잡한 제어 흐름과 확률적 계산을 포함한 모델에 대해 미분 가능한 베이지안 추론을 구현하는 데 있어 핵심적인 아키텍처 및 구현 과제는 무엇인가?
• RQ3 확률 프로그래밍에서 모델 재사용과 추론을 분리하여 계층적이고 딥한 확률 모델의 다소 자유롭고 조합 가능한 모델링을 어떻게 지원할 수 있는가?
• RQ4 통합된 GPU 가속 라이브러리를 통해 베이지안 딥 러닝이 표준 딥 러닝만큼 접근하기 쉬우며 효율적으로 만들 수 있는 정도는 어느 정도인가?
• RQ5 텐서플로우와 같은 현대 딥 러닝 프레임워크에 원천적으로 통합된 확률 프로그래밍 라이브러리의 성능 및 확장성 특성은 무엇인가?

주요 결과

• ZhuSuan은 일관된 딥 러닝 스타일 인터페이스를 통해 베이지안 로지스틱 회귀, 변분 오토에인드어, 딥 시그모이드 신뢰망, 베이지안 RNN과 같은 베이지안 모델의 종단 간 훈련을 성공적으로 가능하게 했다.
• 다른 라이브러리들(예: Edward)이 그래프 복사가 필요로 하는 제한을 벗어나, 그래프 복사 없이도 tf.while_loop 및 tf.scan과 같은 복잡한 제어 흐름 연산을 지원한다.
• 그래프 변형을 피하고 함수 재사용 및 컨텍스트 관리를 기반으로 함으로써, 확률적 구성 요소와 계층적 구조를 가진 모델에서 정확성과 모듈성을 보장한다.
• PyMC3와 달리, 모든 VI 방법에 대해 사용자 정의 가능한 변분 사후 분포를 완전히 지원한다.
• 라이브러리의 설계는 투명하고 조합 가능한 워크플로우를 가능하게 하여, 사용자가 모델링, 추론, 최적화 구성 요소를 별도로 조합할 수 있도록 하여 가독성과 유지보수성을 향상시킨다.
• ZhuSuan은 GitHub에 오픈소스로 공개되었으며, 다양한 베이지안 딥 러닝 작업에서 효과적임이 입증되었고, 불확실성 인식 AI 분야의 연구 및 응용을 가속화했다.