[论文解读] Informed MCMC with Bayesian Neural Networks for Facial Image Analysis

Adam Kortylewski, Mario Wieser+5 more|arXiv (Cornell University)|Nov 19, 2018

Face recognition and analysis参考文献 6被引用 6

一句话总结

本文提出使用贝叶斯神经网络（BNNs）学习图像相关的提议分布，以在面部图像分析中实现信息性MCMC，显著加速收敛至高后验区域。通过将BNN估计的不确定性整合到MCMC采样器中，该方法实现了更优的3D人脸重建质量，在固定采样次数内比标准无信息MCMC提前3,500次采样达到最大后验值。

ABSTRACT

Computer vision tasks are difficult because of the large variability in the data that is induced by changes in light, background, partial occlusion as well as the varying pose, texture, and shape of objects. Generative approaches to computer vision allow us to overcome this difficulty by explicitly modeling the physical image formation process. Using generative object models, the analysis of an observed image is performed via Bayesian inference of the posterior distribution. This conceptually simple approach tends to fail in practice because of several difficulties stemming from sampling the posterior distribution: high-dimensionality and multi-modality of the posterior distribution as well as expensive simulation of the rendering process. The main difficulty of sampling approaches in a computer vision context is choosing the proposal distribution accurately so that maxima of the posterior are explored early and the algorithm quickly converges to a valid image interpretation. In this work, we propose to use a Bayesian Neural Network for estimating an image dependent proposal distribution. Compared to a standard Gaussian random walk proposal, this accelerates the sampler in finding regions of the posterior with high value. In this way, we can significantly reduce the number of samples needed to perform facial image analysis.

研究动机与目标

• 解决由于高维、多模态后验分布导致的MCMC采样收敛缓慢的问题。
• 克服MCMC中固定或手工设计提议分布的局限性，通过学习数据相关的提议分布。
• 通过整合来自贝叶斯神经网络的不确定性感知提议分布，提升3D人脸重建的效率与准确性。
• 证明BNN引导的MCMC在固定采样次数内，相比标准无信息MCMC，能更优地探索高后验区域。

提出的方法

• 该方法使用3D形态模型（3DMM）作为生成先验，以建模3D人脸几何、颜色和渲染参数。
• 在30万张合成人脸图像及其对应的3DMM参数上训练贝叶斯神经网络，以估计模型参数的联合后验分布。
• BNN输出模型不确定性（认知不确定性）和异方差性随机不确定性（数据不确定性），二者结合以定义图像相关的提议分布 $ Q_I(\cdot|x) $。
• 将BNN生成的提议分布整合到信息性MCMC采样器中，通过加权混合方式将其与局部高斯随机游走结合。
• MCMC采样器使用Metropolis-Hastings算法，结合BNN引导的提议分布来探索后验 $ p(y|x) $，其中 $ y $ 表示3DMM参数。
• 提议分布通过端到端方式从数据中学习，替代了先前工作中使用的手工设计特征和核密度估计。

实验结果

研究问题

• RQ1 贝叶斯神经网络能否有效估计面部图像分析中MCMC采样的图像相关提议分布？
• RQ2 BNN引导的MCMC与标准无信息MCMC相比，在收敛至高后验区域的速度上表现如何？
• RQ3 BNN估计的不确定性是否反映了3D人脸形状与姿态的有意义变化，特别是在欠定重建场景中？
• RQ4 在固定采样次数内，BNN引导的MCMC能否实现比无信息采样器更优的3D人脸重建质量？

主要发现

• BNN引导的MCMC采样器仅需3,500次采样即可达到无信息采样器在10,000次采样内达到的最大未归一化后验值。
• BNN引导的采样器显著更快地探索高后验区域，如图2b所示的后验轨迹曲线所证实。
• 定性不确定性可视化显示，头部姿态区域不确定性较低，而3D形状区域不确定性较高，与单目3D人脸重建的欠定性质一致。
• 在150张测试图像上进行的Friedmann检验（秩次检验）得到p值为 $ 5.7 \times 10^{-5} $，表明重建质量相比无信息基线具有高度显著的提升。
• BNN的平均预测在头部姿态和3D形状上与真实值高度一致，而不确定性采样则反映了面部几何的合理变化，特别是在鼻部区域尤为明显。
• 该方法表明，BNN能够通过同时编码模型不确定性和数据不确定性，有效建模面部图像分析中复杂且多模态的后验分布。