[論文レビュー] Building fast Bayesian computing machines out of intentionally stochastic, digital parts

Vikash K. Mansinghka, Eric Jonas|arXiv (Cornell University)|Feb 20, 2014

Advanced Memory and Neural Computing参考文献 40被引用数 12

ひとこと要約

本稿では、大量並列処理を活用する意図的なノイズ性と低精度デジタル回路を用いた、高速ベイジアン推論のための新規アーキテクチャを提案する。確率的推論を確率的デジタルゲートを通じたマルコフ連鎖モンテカルロ（MCMC）サンプリングとしてモデル化することで、10,000個以上の潜在変数におけるリアルタイム推論を達成。一般向けマイクロプロセッサと比較して1,000倍の高速化を実現しながら、超低消費電力および低ビット精度で動作する。

ABSTRACT

The brain interprets ambiguous sensory information faster and more reliably than modern computers, using neurons that are slower and less reliable than logic gates. But Bayesian inference, which underpins many computational models of perception and cognition, appears computationally challenging even given modern transistor speeds and energy budgets. The computational principles and structures needed to narrow this gap are unknown. Here we show how to build fast Bayesian computing machines using intentionally stochastic, digital parts, narrowing this efficiency gap by multiple orders of magnitude. We find that by connecting stochastic digital components according to simple mathematical rules, one can build massively parallel, low precision circuits that solve Bayesian inference problems and are compatible with the Poisson firing statistics of cortical neurons. We evaluate circuits for depth and motion perception, perceptual learning and causal reasoning, each performing inference over 10,000+ latent variables in real time - a 1,000x speed advantage over commodity microprocessors. These results suggest a new role for randomness in the engineering and reverse-engineering of intelligent computation.

研究の動機と目的

• 生物学的脳と現代のコンピュータとの間の、確率的推論問題を解く際の効率格差を埋めるため。
• 信頼性の低い、遅い部品を用いても高速かつ信頼性の高い推論が可能な脳の能力を逆設計するため。
• ランダムネスが欠陥ではなく、効率的なベイジアン計算のためのコア設計原則となるような、新たな計算パラダイムを構築するため。
• 大規模並列処理が可能な低精度デジタルハードウェアを用いて、複雑なモデル（例：MRF、ディリクレ過程混合モデル）におけるリアルタイム推論を可能にするため。

提案手法

• 入力に基づいて条件付き確率分布からのランダムサンプルを出力する、決定的出力ではなく確率的デジタルゲートの設計。
• これらのゲートを同期クロックで制御された回路に組み合わせ、ベイジアン推論のためのマルコフ連鎖モンテカルロ（MCMC）サンプリングを自然に実装。
• 入力エネルギーの表現に特許的な固定小数点符号化方式を採用し、低ビット精度（例：8ビット以下）でも精度を保証。
• 数学的合成則を用いてプリミティブからより大きな回路を構築し、抽象化と動作の検証を可能に。
• ベイジアンネットワークや要因グラフとして指定された因果的または確率的モデルから、自動的にハードウェア回路を生成するコンパイラの開発。
• マーコフ確率的フィールド（MRF）および非パラメトリック混合モデルを用いて、深度・運動知覚、知覚的学習、因果推論のための回路を実装。

実験結果

リサーチクエスチョン

• RQ1 意図的なノイズ性を持つデジタル部品を用いて、高速で低消費電力なベイジアン推論マシンを構築可能か？
• RQ2 低精度デジタルハードウェアを用いて、確率的モデルにおける大規模並列処理をどのように活用できるか？
• RQ3 低精度の確率的回路が、ベイジアン推論タスクにおいてどれほど高い精度を維持できるか？
• RQ4 高レベルの確率的モデルから、自動的に効率的なハードウェア回路を生成するコンパイラは可能か？
• RQ5 実世界の推論タスクにおいて、確率的デジタル回路の性能はソフトウェア実装と比べてどの程度優れているか？

主な発見

• ハードウェアプロトタイプは、10,000個以上の潜在変数についてリアルタイムでベイジアン推論を実行し、一般向けマイクロプロセッサと比較して1,000倍の高速化を達成。
• 8ビット精度でさえも、高精度シミュレーションと比較して相対エントロピーにほとんど損失がなく、高い精度を維持。
• 深度知覚システムは、ソフトウェアと比較してエネルギー遅延積で500倍の高速化を達成。ハードウェアは1フレームあたり約200msで動作。
• 運動知覚システムは、ハードウェアが1フレームあたり約200msで推論を完了し、リアルタイム性能を達成。ソフトウェアと比較して500倍以上の性能向上。
• ディリクレ過程混合モデルのための確率的デジタル回路は、教師なしでMNISTの数字から3〜4クラスタを自動で同定し、最先端の分類器と同等のROC AUCスコアを達成。
• スパイクニューラル実装によるこの確率的回路は、元のマルコフ連鎖の正確な事後分布を再現しており、設計の正しさを検証。