[論文レビュー] Large Scale Variational Inference and Experimental Design for Sparse Generalized Linear Models

Matthias Seeger, Hannes Nickisch|arXiv (Cornell University)|Oct 6, 2008

Sparse and Compressive Sensing Techniques参考文献 65被引用数 14

ひとこと要約

本稿では、スパース一般化線形モデルにおけるスケーラブルな変分推論フレームワークを提案し、最頻値（mode）を超えて共分散を含む事後分布の効率的近似を可能にする。凸最適化に基づくアルゴリズムを導入し、変分推論を繰り返しスパースMAP推定と共分散更新に還元することで、MRIのサンプリング最適化における初のスケールアップされたベイジアン実験設計を実現する。

ABSTRACT

Many problems of low-level computer vision and image processing, such as denoising, deconvolution, tomographic reconstruction or super-resolution, can be addressed by maximizing the posterior distribution of a sparse linear model (SLM). We show how higher-order Bayesian decision-making problems, such as optimizing image acquisition in magnetic resonance scanners, can be addressed by querying the SLM posterior covariance, unrelated to the density's mode. We propose a scalable algorithmic framework, with which SLM posteriors over full, high-resolution images can be approximated for the first time, solving a variational optimization problem which is convex iff posterior mode finding is convex. These methods successfully drive the optimization of sampling trajectories for real-world magnetic resonance imaging through Bayesian experimental design, which has not been attempted before. Our methodology provides new insight into similarities and differences between sparse reconstruction and approximate Bayesian inference, and has important implications for compressive sensing of real-world images.

研究の動機と目的

• スパース線形モデルにおける最頻値（MAP）推定の限界を解決する。MAP推定は事後分布の最頻値しか利用せず、不確実性の評価を無視する。
• MAP最頻値ではなく、事後共分散情報を利用することで、画像取得、特に磁気共鳴画像法（MRI）におけるベイジアン実験設計を可能にする。
• 計算的に効率的で、高解像度画像に適用可能な、スパース一般化線形モデルにおけるスケーラブルで凸最適化に基づく変分推論フレームワークを開発する。
• スパース再構成と近似的なベイジアン推論のギャップを埋めるために、変分推論が、かつてMAP推定が凸である場合に限り凸であることを示す。
• 実画像データを用いた実世界のMRIサンプリング軌道最適化に、ベイジアン実験設計を初めて成功裏に適用することを示す。

提案手法

• スパース線形モデル（SLM）の事後分布（平均と共分散を含む）を凸最適化によって近似する変分推論フレームワークを提案する。
• 変分問題を定式化し、対応するMAP推定問題が凸である場合に限り、変分問題が凸であるようにすることで理論的安定性を確保する。
• スパースMAP問題の解法とガウス共分散近似の更新を交互に繰り返す、新規の二重ループアルゴリズムを開発し、収束を著しく高速化する。
• 変分ベイジアン推論を、主成分分析（PCA）に類似した共分散近似と交互に実行するスパースMAPソルバーの複数回呼び出しに還元することで、既存の効率的ソルバーを活用する。
• 解析的および反復的手段を用いて共役双対とFenchel共役を計算することで、非ガウス的事前分布（例：ラプラス分布、ベルヌーイ分布、グループポテンシャル）を扱うための数値スキームを導入する。
• 再パラメータ化勾配と構造的行列演算を用いて、グループポテンシャルの数値的安定性を保ちながらヘッシアンを計算する実装を提供し、効率性と正確性を維持する。

実験結果

リサーチクエスチョン

• RQ1 スパース一般化線形モデルにおける変分推論が、MAP推定が凸である場合に限り、スケーラブルかつ凸にできるか？
• RQ2 画像分野における意思決定タスク（例：実験設計）において、事後共分散情報を効率的に近似・活用できるか？
• RQ3 変分ベイジアン推論が、共分散更新を伴う繰り返しスパースMAP最適化にどの程度還元できるか？
• RQ4 このフレームワークにより、実世界のMRIサンプリング軌道最適化にベイジアン実験設計を初めて成功裏に適用できるか？
• RQ5 高次元画像問題におけるスパース再構成と完全なベイジアン推論の間には、計算的・統計的差異がどの程度存在するか？

主な発見

• 提案された変分推論フレームワークは、かつて対応するMAP推定問題が凸である場合に限り凸であることが保証され、強固な理論的基盤を確立した。
• 二重ループアルゴリズムは、従来手法と比較して、収束が桁違いに速く、高解像度画像全体におけるSLM事後分布の初のスケールアップ近似を可能にした。
• フレームワークは、実世界の画像データを用いたMRIサンプリングのベイジアン実験設計を成功裏に実行し、非適応的圧縮センシングでは失敗する状況でも軌道最適化を達成した。
• 変分推論を繰り返しスパースMAPソルバーの実行と共分散更新に還元することで、MAPソルバーの広範な既存インfraを活用できるようになった。
• 実装はglm-ieツールボックスを通じて公開されており、研究コミュニティにおける再現性と採用を促進する。
• 実画像データにおける適応的圧縮センシングにおいて、理論的非適応的アプローチを上回る実用的性能を示した。