[论文解读] A Hidden Markov model for Bayesian data fusion of multivariate signals

Olivier Féron, Ali Mohammad‐Djafari|ArXiv.org|Mar 31, 2004

Anomaly Detection Techniques and Applications参考文献 12被引用 6

一句话总结

本文提出了一种基于隐马尔可夫模型（HMM）的贝叶斯数据融合框架，用于多变量图像处理，其中共享的分割标签场通过庞茨马尔可夫随机场（Potts MRF）建模。该方法通过马尔可夫链蒙特卡洛（MCMC）算法联合估计两个观测图像和一个共享的分割图像，通过融合来自MRI/CT以及X射线透射/背散射图像的互补信息，提升了分割精度，且未增加计算复杂度。

ABSTRACT

In this work we propose a Bayesian framework for data fusion of multivariate signals which arises in imaging systems. More specifically, we consider the case where we have observed two images of the same object through two different imaging processes. The objective of this work is then to propose a coherent approach to combine these data sets to obtain a segmented image which can be considered as the fusion result of these two images. The proposed approach is based on a Hidden Markov Modeling (HMM) of the images with common segmentation, or equivalently, with common hidden classification label variables which is modeled by the Potts Markov Random Field. We propose then an appropriate Markov Chain Monte Carlo (MCMC) algorithm to implement the method and show some simulation results and applications.

研究动机与目标

• 开发一个一致的贝叶斯框架，用于融合来自多种成像模态的多变量信号。
• 利用共享的隐性分类变量，对两个图像之间的共同图像分割进行建模。
• 通过MCMC采样，联合估计原始图像和融合后的分割表示。
• 通过利用不同成像过程的互补信息，提升分割性能。
• 通过同时执行融合与重建，降低计算复杂度。

提出的方法

• 将两个观测图像 $ g_1 $ 和 $ g_2 $ 建模为底层图像 $ f_1 $ 和 $ f_2 $ 的含噪版本，假设噪声为加性高斯噪声。
• 引入一个隐藏标签场 $ \mathbf{z} \in \{1,\dots,K\}^S $，表示两个图像之间的共同分割。
• 在 $ \mathbf{z} $ 上使用庞茨马尔可夫随机场先验，以在分割中强制实现空间同质性。
• 定义条件分布 $ p(f_i|\mathbf{z}) $ 和 $ p(g_i|f_i) $，以建模图像数据与噪声，支持完整的贝叶斯推断。
• 采用并行吉布斯采样MCMC算法，联合采样 $ \mathbf{f}_1, \mathbf{f}_2, \mathbf{z}, \mathbf{q}, \boldsymbol{\theta}_1, \boldsymbol{\theta}_2 $，其中 $ \mathbf{q} $ 表示超参数。
• 采用分块采样策略，交替更新 $ \mathbf{z} $、$ \mathbf{f}_i $、$ \mathbf{q} $ 和超参数 $ \boldsymbol{\theta}_i $，以提高收敛速度与效率。

实验结果

研究问题

• RQ1 如何融合来自不同成像模态的两幅图像，以生成更准确且一致的分割结果？
• RQ2 使用共享的隐性标签场对多幅图像中的共同结构特征进行建模的最优方式是什么？
• RQ3 能否通过MCMC采样高效实现图像重建与分割的联合估计？
• RQ4 通过庞茨MRF引入空间平滑性如何提升数据融合中的分割质量？
• RQ5 与分别处理和融合相比，所提出方法在多大程度上降低了计算复杂度？

主要发现

• 所提出的方法成功融合了MRI与CT脑部图像，生成包含9个标签的分割结果，完整捕捉了两幅原始图像中所有主要解剖边界。
• 在X射线成像中，融合方法能清晰区分行李箱中的两把手枪，而仅使用背散射图像时无法分辨左侧手枪，显示出更强的检测能力。
• 融合模型生成的分割结果比单独对任一图像进行分割的结果具有更准确、更完整的区域边界。
• 融合过程的计算成本与独立分割相当，表明联合估计未显著增加复杂度。
• 重建图像未见明显改善，表明当前模型对像素值独立性的假设限制了重建质量。
• 作者指出 $ f_i $ 中缺乏空间相关性是主要局限，且认为在未来工作中引入局部空间依赖关系是极具前景的方向。