[論文レビュー] Towards Bayesian Deep Learning: A Framework and Some Existing Methods

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|Aug 24, 2016

Image Retrieval and Classification Techniques参考文献 45被引用数 16

ひとこと要約

本論文は、認識のためのディープラーニングと推論のための確率的グラフィカルモデルを統合する統一されたベイズ的ディープラーニング（BDL）フレームワークを提案する。このフレームワークにより、認識と推論の間で双方向の情報交換が可能となり、不確実性の適切な取り扱いや、認識と推論モジュールの相互フィードバックによって、推薦、医療診断、動的システムの制御といったタスクにおける性能向上が実現される。

ABSTRACT

While perception tasks such as visual object recognition and text understanding play an important role in human intelligence, the subsequent tasks that involve inference, reasoning and planning require an even higher level of intelligence. The past few years have seen major advances in many perception tasks using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. To achieve integrated intelligence that involves both perception and inference, it is naturally desirable to tightly integrate deep learning and Bayesian models within a principled probabilistic framework, which we call Bayesian deep learning. In this unified framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in return, the feedback from the inference process is able to enhance the perception of text or images. This paper proposes a general framework for Bayesian deep learning and reviews its recent applications on recommender systems, topic models, and control. In this paper, we also discuss the relationship and differences between Bayesian deep learning and other related topics like Bayesian treatment of neural networks.

研究の動機と目的

• ディープラーニングの不確実性処理と推論の限界を、確率的グラフィカルモデル（PGM）と統合することで解決すること。
• 複雑なAIタスクに適した、認識（ディープラーニングによる）と推論（PGMによる）を統合する原理的で整合性のある確率的フレームワークの構築。
• 認識と推論モジュールの間で双方向フィードバックを可能にし、実世界の応用における性能向上を実現すること。
• ニューラルネットワークを用いて確率的コンponentsをパrameter化することで、スケーラブルで柔軟なベイズ的ディープラーニングアーキテクチャの提供。

提案手法

• ディープラーニングモデルを認識コンponent、PGMをタスク固有の推論コンponentとして使用する汎用BDLフレームワークを提案する。
• ベイズ的ニューラルネットワークを用いて事前分布を設定し、潜在表現をモデリングすることで、不確実性の定量化と正則化を可能にする。
• エンコーディング、遷移、再構成といった主要な確率的コンponentをニューラルネットワークでパrameter化し、複雑で非線形な写像を学習可能にする。
• スチュアティックグラデント変分ベイズ（SGVB）および関連する推論アルゴリズムを用いて、結合モデルを効率的に学習する。
• 潜在変数の平均と分散に別個のニューラルネットワークを設計することで、固定分散モデルに比べて柔軟性を向上させる。
• 認識が推論を支援し、推論のフィードバックが認識を改善する二方向の情報フローを実現する（例：医療画像解釈や制御における応用）。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングと確率的グラフィカルモデルを、一貫性のある確率的フレームワーク内で体系的に統合する方法は何か？
• RQ2 ベイズ的ニューラルネットワークと構造的PGMを組み合わせる際の主なアーキテクチャ的および推論的課題は何か？
• RQ3 認識と推論の間で双方向フィードバックを導入することで、推薦や制御といったタスクにおける性能がどのように向上するか？
• RQ4 標準的なディープラーニングと比較して、ベイズ的ディープラーニングが不確実性推定と一般化性能において優れている点は何か？

主な発見

• BDLフレームワークにより、ディープラーニングに基づく認識とPGMに基づく推論の間で相乗的相互作用が実現され、複雑なタスクにおける性能向上が達成された。
• ニューラルネットワークでパrameter化された確率的コンponent（例えば、潜在変数の平均と分散）を有するBDLモデルは、固定構造モデルに比べてより高い柔軟性を示した。
• ネットワーク重みにベイズ的事前分布を適用することで、過学習を低減する暗黙の正則化が可能となり、特にデータが少ない状況でも有効である。
• 潜在状態遷移と画像再構成を用いたBDLベースの制御モデルは、繰り返しの認識-推論ループにより、動的システムの動画ベース制御を効果的に行うことができた。
• レコメンデーションシステム、トピックモデリング、確率的制御への応用から、フレームワークの汎用性と性能向上の有効性が示された。
• スチュアティックグラデント変分ベイズおよび関連推論アルゴリズムにより、BDLモデルのスケーラブルな学習が可能となり、実世界への展開を支援した。