[論文レビュー] Informed MCMC with Bayesian Neural Networks for Facial Image Analysis

Adam Kortylewski, Mario Wieser+5 more|arXiv (Cornell University)|Nov 19, 2018

Face recognition and analysis参考文献 6被引用数 6

ひとこと要約

本稿では、顔画像解析におけるインフォームドMCMCのための画像依存の提案分布を学習するためにベイジアンニューラルネットワーク（BNNs）を提案し、高事後確率領域への収束を著しく高速化する。BNNで推定された不確実性をMCMCサンプラーに統合することで、優れた3次元顔再構築品質が達成され、標準的な無情報MCMCに比べて最大事後確率値に3,500サンプルも早く到達する。

ABSTRACT

Computer vision tasks are difficult because of the large variability in the data that is induced by changes in light, background, partial occlusion as well as the varying pose, texture, and shape of objects. Generative approaches to computer vision allow us to overcome this difficulty by explicitly modeling the physical image formation process. Using generative object models, the analysis of an observed image is performed via Bayesian inference of the posterior distribution. This conceptually simple approach tends to fail in practice because of several difficulties stemming from sampling the posterior distribution: high-dimensionality and multi-modality of the posterior distribution as well as expensive simulation of the rendering process. The main difficulty of sampling approaches in a computer vision context is choosing the proposal distribution accurately so that maxima of the posterior are explored early and the algorithm quickly converges to a valid image interpretation. In this work, we propose to use a Bayesian Neural Network for estimating an image dependent proposal distribution. Compared to a standard Gaussian random walk proposal, this accelerates the sampler in finding regions of the posterior with high value. In this way, we can significantly reduce the number of samples needed to perform facial image analysis.

研究の動機と目的

• 高次元かつマルチモーダルな事後分布に起因する、顔画像解析におけるMCMCサンプリングの収束が遅いという課題に対処すること。
• 固定または手作業で設計された提案分布の限界を克服し、データ依存の提案分布を学習すること。
• ベイジアンニューラルネットワークから得られる不確実性を考慮した提案分布を統合することで、3次元顔再構築の効率性と正確性を向上させること。
• 固定サンプル数内で、BNNで情報化されたMCMCが標準的な無情報MCMCに比べて高事後確率領域をいかに効果的に探索できるかを示すこと。

提案手法

• 本手法は、3次元顔の幾何学的形状、色、レンダリングパラメータをモデル化するための生成的事前分布として3次元モーファブルモデル（3DMM）を用いる。
• 300K枚の合成顔画像とそれに対応する3DMMパラメータを用いて、BNNを訓練し、モデルパラメータの上での結合事後分布を推定する。
• BNNは、エピステミック（モデル）不確実性とヘテロスケダスティックなアレアトリック（データ）不確実性を出力し、これらを組み合わせて画像依存の提案分布 $ Q_I(\cdot|x) $ を定義する。
• このBNNで得られた提案分布は、局所的なガウスランダムウォークと重み付き混合により統合されたインフォームドMCMCサンプラーに組み込まれる。
• MCMCサンプラーは、BNNで情報化された提案分布を用いたメトロポリス・ハスティングスアルゴリズムを用い、事後分布 $ p(y|x) $ を探索する。ここで $ y $ は3DMMパラメータを表す。
• 提案分布は、従来の手作業で設計された特徴量やカーネル密度推定に代わって、データからエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークは、顔画像解析におけるMCMCサンプリングのための画像依存の提案分布を効果的に推定できるか？
• RQ2 BNNで情報化されたMCMCは、標準的な無情報MCMCと比較して、高事後確率領域への収束速度がどのように異なるか？
• RQ3 BNNで推定された不確実性は、特に不適切な再構築状況において、3次元顔の形状やポーズの意味のある変動を反映しているか？
• RQ4 固定サンプル数内で、BNNで情報化されたMCMCは無情報サンプラーに比べて、より優れた3次元顔再構築品質を達成できるか？

主な発見

• BNNで情報化されたMCMCサンプラーは、無情報手法が10,000サンプルを要するのに対し、最大未正規化事後確率値にたった3,500サンプルで到達する。
• 図2bの事後確率軌道曲線から、BNNで情報化されたサンプラーが高事後確率領域を著しく速く探索していることが示されている。
• 定性的な不確実性可視化では、頭部ポーズでは低不確実性、3次元形状では高不確実性が観察され、単眼3次元顔再構築の不適切さと整合的である。
• 150枚のテスト画像に対する順位付きフリードマン検定のp値は $ 5.7 \times 10^{-5} $ であり、無情報ベースラインに比べて再構築品質に顕著な改善があることが示された。
• BNNの平均予測は、頭部ポーズおよび3次元形状において真値に非常に近いが、不確実性サンプルは特に鼻の周辺で現実的な顔の幾何学的変動を反映している。
• 本手法は、モデルとデータの両方の不確実性を符号化することで、BNNが顔画像解析における複雑でマルチモーダルな事後分布を効果的にモデル化できることを示している。