[論文レビュー] Towards Bayesian Deep Learning: A Survey

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|Apr 6, 2016

Image Retrieval and Classification Techniques参考文献 66被引用数 28

ひとこと要約

本調査では、ベイジアンディープラーニングを、認識のためのディープラーニングと推論、意思決定、計画のためのベイジアン確率モデルを統合する統一フレームワークとして紹介する。認識と推論の間で双方向フィードバックを可能にすることで、レコメンデーション、トピックモデリング、制御などのタスクにおける性能が向上し、統合的で原理的な人工知能のアプローチを提供する。

ABSTRACT

While perception tasks such as visual object recognition and text understanding play an important role in human intelligence, the subsequent tasks that involve inference, reasoning and planning require an even higher level of intelligence. The past few years have seen major advances in many perception tasks using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. To achieve integrated intelligence that involves both perception and inference, it is naturally desirable to tightly integrate deep learning and Bayesian models within a principled probabilistic framework, which we call Bayesian deep learning. In this unified framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in return, the feedback from the inference process is able to enhance the perception of text or images. This survey provides a general introduction to Bayesian deep learning and reviews its recent applications on recommender systems, topic models, and control. In this survey, we also discuss the relationship and differences between Bayesian deep learning and other related topics like Bayesian treatment of neural networks.

研究の動機と目的

• 認識におけるディープラーニングと推論におけるベイジアンモデルの間のギャップを埋め、統合的で人工知能を実現すること。
• 高レベルの認知的タスクに適した、統一的で原理的な確率的フレームワークを提示すること。
• 推論からのフィードバックが認識を向上させ、逆に認識の向上が推論の精度を高める仕組みを示し、全体的なシステム性能を向上させること。
• ベイジアンディープラーニングと、ベイジアンニューラルネットワークなどの関連手法との違いと相乗効果を明確にすること。

提案手法

• ディープニューラルネットワークとベイジアン推論を統合し、共同での認識と推論を可能にする統一的確率的フレームワークとして、ベイジアンディープラーニングを形式化すること。
• 画像やテキスト理解などの認識タスクにおける特徴抽出にディープラーニングを活用すること。
• 不確実性のモデル化と推論、計画の支援を可能にするために、ベイジアン事前分布を用いた確率的グラフィカルモデルを適用すること。
• 双方向フィードバックを実現：推論の結果を用いて認識を改善し、改善された認識をもとに推論の精度を向上させること。
• 計算が困難な事後分布を近似するために、変分推論とモンテカルロ法を統一フレームワーク内で活用すること。
• レコメンダーシステム、トピックモデリング、強化学習に基づく制御を含む、実世界のタスクへのフレームワークの応用。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングとベイジアンモデルを、認識と高レベルの推論を両立させる単一の確率的フレームワーク内でどのように統合できるか？
• RQ2 ベイジアンディープラーニングとニューラルネットワークに対するベイジアン処理との主な違いと相乗効果は何か？
• RQ3 推論からのフィードバックが認識をどのように改善するのか。また、改善された認識が実際の推論性能にどのように寄与するのか？
• RQ4 レコメンダーシステムや制御タスクなどの実世界の応用において、ベイジアンディープラーニングはどのように性能を発揮するか？

主な発見

• ベイジアンディープラーニングにより、ディープラーニングが認識を強化し、ベイジアンモデルが推論を向上させる統一的フレームワークが実現され、より堅牢で解釈可能なAIシステムが実現される。
• ディープラーニングとベイジアン推論の統合により、複雑なタスクにおける不確実性の定量化と一般化性能の向上が可能になる。
• レコメンダーシステムへの応用では、ベイジアンディープラーニングモデルがユーザーの好みとアイテムの不確実性をよりよく捉えることが示された。
• トピックモデリングにおいては、深層表現学習と確率的トピック推論を組み合わせることで、解釈性と性能の両方が向上した。
• 制御タスクでは、認識と推論の間のフィードバックループが、不確実性下での意思決定を強化した。
• 本調査では、ベイジアンディープラーニングが標準的なベイジアンニューラルネットワークとは異なり、統合的認知モデリングのための広範な範囲を提供していることが強調された。