[论文解读] Learning Graphical Models of Images, Videos and Their Spatial Transformations

Brendan J. Frey, Nebojša Jojić|arXiv (Cornell University)|Jan 16, 2013

Image Retrieval and Classification Techniques参考文献 8被引用 34

一句话总结

本文通过将离散的空间变换变量（如平移、剪切）整合到概率模型（如高斯混合模型和隐马尔可夫模型）中，提出了一种适用于图像和视频的变换不变图形模型。利用期望最大化（EM）算法，该方法实现了对输入变换具有鲁棒性的聚类、降维和时间序列分析，在显微镜图像滤波、人脸聚类、数字识别和视频目标跟踪（含去干扰）任务中达到了最先进性能。

ABSTRACT

Mixtures of Gaussians, factor analyzers (probabilistic PCA) and hidden Markov models are staples of static and dynamic data modeling and image and video modeling in particular. We show how topographic transformations in the input, such as translation and shearing in images, can be accounted for in these models by including a discrete transformation variable. The resulting models perform clustering, dimensionality reduction and time-series analysis in a way that is invariant to transformations in the input. Using the EM algorithm, these transformation-invariant models can be fit to static data and time series. We give results on filtering microscopy images, face and facial pose clustering, handwritten digit modeling and recognition, video clustering, object tracking, and removal of distractions from video sequences.

研究动机与目标

• 开发对图像和视频中平移和剪切等空间变换具有不变性的概率图形模型。
• 将标准模型（如高斯混合模型和隐马尔可夫模型）扩展以整合离散变换变量，从而提升鲁棒性。
• 在存在空间变化的情况下，实现对图像和视频数据的有效聚类、降维和时间序列分析。
• 将该框架应用于显微镜图像滤波、人脸姿态聚类、手写数字识别和视频目标跟踪等实际任务。
• 证明变换不变建模在存在噪声、干扰和几何变化的情况下可提升性能。

提出的方法

• 在图形模型中引入离散变换变量，以考虑输入数据中的拓扑变换（如平移和剪切）。
• 调整期望最大化（EM）算法，以在学习过程中联合估计模型参数和变换变量。
• 使用具有变换不变分量的高斯混合模型来建模图像和视频数据的分布。
• 通过将模型扩展为包含变换变量的隐马尔可夫模型，将其应用于动态数据的时序建模。
• 采用生成建模方法，将每个数据点建模为潜在原型的变换版本，其中变换被视为隐变量。
• 通过对方差变换变量进行边缘化来执行推理与学习，从而在不进行显式数据增强的情况下实现不变性。

实验结果

研究问题

• RQ1 能否使概率图形模型对图像和视频中的空间变换（如平移和剪切）具有不变性？
• RQ2 如何将离散变换变量整合到标准模型（如高斯混合模型和HMM）中以提升鲁棒性？
• RQ3 引入变换不变性在多大程度上能提升图像和视频聚类、识别与滤波任务的性能？
• RQ4 EM算法能否在联合推理框架中有效学习模型参数与变换变量？
• RQ5 该方法在处理视频序列中的干扰和几何变化方面，与基线模型相比表现如何？

主要发现

• 所提出的变换不变模型在显微镜图像滤波中显著提升了性能，可在去除噪声和伪影的同时保留结构细节。
• 该方法在人脸姿态聚类和识别不同空间构型下的面部表情方面达到了最先进水平。
• 由于对小幅度平移和形变具有不变性，手写数字识别的准确率得到提升，优于标准混合模型。
• 通过将空间变换建模为隐变量，视频聚类和目标跟踪性能得到增强，即使在部分遮挡情况下也能实现鲁棒跟踪。
• 通过将背景建模为变换不变原型，有效去除了视频序列中移动物体等干扰。
• 基于EM的学习框架在多种图像和视频数据集上成功收敛并实现泛化，表现出良好的可扩展性与鲁棒性。