[論文レビュー] ZhuSuan: A Library for Bayesian Deep Learning

Jiaxin Shi, Jianfei Chen+5 more|arXiv (Cornell University)|Sep 18, 2017

Gaussian Processes and Bayesian Inference参考文献 50被引用数 36

ひとこと要約

ZhuSuan は、ベイジアンディープラーニングを可能にする、TensorFlow をベースにした PyTorch 互換の確率的プログラミングライブラリであり、複雑な確率的モデルの柔軟なモデリングと、微分可能変分推論およびモンテカルロ法を用いた効率的なベイジアン推論を可能にする。GPU でのエンドツーエンドの確率的モデリングとトレーニングを可能にするモジュラで透明性があり、合成可能なコンポONENTを提供することで、ディープラーニングのパラダイムとベイジアン手法を統合する。

ABSTRACT

In this paper we introduce ZhuSuan, a python probabilistic programming library for Bayesian deep learning, which conjoins the complimentary advantages of Bayesian methods and deep learning. ZhuSuan is built upon Tensorflow. Unlike existing deep learning libraries, which are mainly designed for deterministic neural networks and supervised tasks, ZhuSuan is featured for its deep root into Bayesian inference, thus supporting various kinds of probabilistic models, including both the traditional hierarchical Bayesian models and recent deep generative models. We use running examples to illustrate the probabilistic programming on ZhuSuan, including Bayesian logistic regression, variational auto-encoders, deep sigmoid belief networks and Bayesian recurrent neural networks.

研究の動機と目的

• ディープニューラルネットワークにおける不確実性を考慮したモデリングを可能にするために、ベイジアン手法とディープラーニングの間のギャップを埋めること。
• 特に複雑な階層構造やディープジェネレーティブモデルを含む確率的モデルを構築・トレーニングするための、柔軟で合成可能で透明性のあるフレームワークを提供すること。
• 特に微分可能変分推論とモンテカルロサンプリングを含む現代のベイジアン推論技術を、ディープラーニングフレンドリーな計算グラフフレームワーク内に統合すること。
• 制御フローとモデル再利用の処理に限界を抱える既存の確率的プログラミングライブラリの課題を克服し、特に確率的計算と複雑な依存関係を持つモデルにおいても対応できること。
• オープンソースで GPU アクセeleration が可能で拡張性のあるライブラリを通じて、ベイジアンディープラーニング分野の研究と応用を加速すること。

提案手法

• ZhuSuan は、自動微分と GPU アクセeleration を可能にするために TensorFlow の計算グラフに基づいて構築されており、確率的モデルのエンドツーエンドトレーニングを可能にする。
• 変分推論とモンテカルロ法の両方をサポートしており、ディープラーニング最適化に適合する微分可能推論技術に重点を置いている。
• グラフのコピーを避けて、関数の再利用とコンテキスト管理を用いることで、tf.while_loop や tf.scan などの制御フロー操作を正しく処理できる。
• 確率的モデルを定義するためのモジュラなプリミティブを提供しており、確率的レイヤーや確率分布を含み、階層ベイジアンモデルやディープジェネレーティブモデルを完全にサポートしている。
• 推論は変分目的関数の最適化として定式化されており、標準的なディープラーニング最適化パイプラインを用いた勾配ベースのトレーニングが可能である。
• 設計思想として、透明性と合成可能性に重点を置き、モデリング、推論、最適化コンponents を独立して使用できるようにしている。

実験結果

リサーチクエスチョン

• RQ1 どのように確率的プログラミングライブラリを設計すれば、ディープラーニングフレームワーク内において、ディープジェネレーティブモデルやベイジアンニューラルネットワークをネイティブにサポートできるか？
• RQ2 複雑な制御フローと確率的計算を含むモデルにおける、微分可能なベイジアン推論を実現するための、主なアーキテクチャ的および実装上の課題は何か？
• RQ3 モデル再利用と推論を確率的プログラミングで分離することで、階層的でディープな確率的モデルの柔軟で合成可能なモデリングをどのように実現できるか？
• RQ4 統一的で GPU アクセeleration が可能なライブラリを通じて、ベイジアンディープラーニングを、標準的なディープラーニングと同等に使いやすく、効率的にできるか？
• RQ5 TensorFlow のようなディープラーニングフレームワークにネイティブに統合された確率的プログラミングライブラリの、パフォーマンスとスケーラビリティの特性は何か？

主な発見

• ZhuSuan は、一貫したディープラーニングスタイルのインターフェースを用いて、ベイジアンロジスティック回帰、変分オートエンコーダ、ディープシグモイド信念ネットワーク、ベイジアンRNN などのベイジアンモデルのエンドツーエンドトレーニングを成功裏に実現している。
• 他のライブラリ（例：Edward）がグラフコピーを必要とするのとは異なり、tf.while_loop や tf.scan などの複雑な制御フロー操作をグラフコピーなしでサポートしている。
• グラフの変更を避けて関数の再利用とコンテキスト管理に依存することで、確率的コンポonents や階層構造を含むモデルにおいて、正しさとモジュラリティを保証している。
• PyMC3 が再パrameter化可能な設定に制限されるのに対し、ZhuSuan はすべてのVI手法においてカスタマイズ可能な変分事後分布を完全にサポートしている。
• ライブラリの設計により、モデリング、推論、最適化コンポonents を独立して合成できる透明で合成可能なワークフローが実現されており、可読性と保守性が向上している。
• ZhuSuan は GitHub でオープンソースとして公開されており、不確実性を考慮した AI 分野における多様なベイジアンディープラーニングタスクで有効であることが示されており、研究と応用の加速に貢献している。