[論文レビュー] Bayesian inference via rejection filtering

Nathan Wiebe, Christopher Granade+2 more|arXiv (Cornell University)|Nov 20, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用数 8

ひとこと要約

本稿では、拒否サンプリングとパーティクルフィルタリングを組み合わせることで、一定数のサンプルのみを用いて事後モーメントを推定する、メモリ効率の良いベイズ推論手法「拒否フィルタリング」を提案する。この手法は、高次元設定下でもオンラインで低メモリで推論を可能にし、特徴量の削除後でも精度の損失が最小限に抑えられるMNISTの0対1の数字分類タスクにおいて優れた性能を示す。

ABSTRACT

We provide a method for approximating Bayesian inference using rejection sampling. We not only make the process efficient, but also dramatically reduce the memory required relative to conventional methods by combining rejection sampling with particle filtering. We also provide an approximate form of rejection sampling that makes rejection filtering tractable in cases where exact rejection sampling is not efficient. Finally, we present several numerical examples of rejection filtering that show its ability to track time dependent parameters in online settings and also benchmark its performance on MNIST classification problems.

研究の動機と目的

• 組み込みシステムやリアルタイム制御のようなメモリ制約のある環境において、従来のパーティクルフィルタの高いメモリ使用量と計算コストを低減すること。
• 正確な拒否サンプリングを用いたオンラインベイズ推論において、受容確率が指数関数的に減少する問題を克服すること。
• ハイブリッドコンピューティングおよびエッジコンピューティングプラットフォームに適した、スケーラブルで並列化可能な近似ベイズ推論手法の開発。
• 拒否フィルタリングからのサンプリング周波数を活用して、高次元データにおける顕著な特徴量を同定することで、アクティブラーニングと特徴選択を可能にすること。
• 使用する特徴量の数を大幅に削減しても高い推論精度を維持することを、MNIST分類タスクで実証すること。

提案手法

• 事前分布から候補サンプルを生成するための拒否サンプリングを用い、尤度に比例する確率で受容する。受容率の向上を図るため、スケーリング定数 $\kappa_E$ を調整する。
• 個々のパーティクルを保存しないように、事後分布の最初の2つのモーメント（平均 $\mu$ と共分散 $\Sigma$）のみを保持する。
• 各バッチの拒否サンプリング試行後にリサンプリングとモーメント更新を適用し、繰り返し事後分布の近似を改善する。
• サンプルが1つも受容されない場合に共分散行列の数値的安定性を保つために、回復要因 $r$ を導入する。
• 複数の処理ノードにわたる細粒度な並列化を可能にするバッチ更新機構（アルゴリズム2）を採用し、若干のメモリ使用量増加を犠牲にしながらも処理速度を向上させる。
• サンプリング中の特徴量の使用頻度を活用して、最も情報量の多い特徴量のみを保持するようにし、高次元データにおける効率的な特徴選択を実現する。

実験結果

リサーチクエスチョン

• RQ1 標準的なパーティクルフィルタと比較して、拒否フィルタリングは著しく低いメモリ使用量で正確なベイズ推論を達成できるか？
• RQ2 厳密なメモリ制約下において、拒否フィルタリングはオンラインで時間的に変化する推論タスクにおいてどのように性能を発揮するか？
• RQ3 サンプリング周波数の分析によって、拒否フィルタリングがどれほどアクティブラーニングと特徴選択を支援できるか？
• RQ4 MNISTのような高次元データセットにおいて、低頻度特徴量をプルーニングした場合、分類精度にどのような影響が生じるか？
• RQ5 精度を損なわず、かつメモリ使用量を定数倍以内に抑える範囲で、拒否フィルタリングは効果的に並列化可能か？

主な発見

• 拒否フィルタリングは、事後分布の平均と共分散のみを保存することで、メモリ使用量を一定数のサンプルに抑える。これにより、組み込みシステムやメモリ制約のある環境に適している。
• MNISTの0対1の数字分類タスクにおいて、最も頻繁に使用されない特徴量の80％を削除しても、分類精度が99％以上を維持する。
• 36番目の百分位数未満の特徴量をプルーニングしても、分類精度に顕著な影響がないことが示され、性能に寄与するのはわずかな特徴量のサブセットに限られることが明らかになった。
• 最も頻繁にサンプリングされた特徴量の20％のみを保持しても、分類精度が99％以上を維持する。これは、サンプリング周波数を用いた効果的な特徴選択が可能であることを示している。
• バッチ更新を用いることで、並列化された効率的な推論が可能となり、分散環境やマルチコアアーキテクチャへの展開に最小限のオーバーヘッドで対応できる。
• 回復要因 $r$ により、サンプルが1つも受容されない場合でも数値的安定性が保たれ、低受容率領域においても事後推定値が維持される。