[论文解读] Combining mixture models with linear mixing updates: multilayer image segmentation and synthesis.

Jonathan Vacher, Ruben Coen-Cagli|arXiv (Cornell University)|May 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 7

一句话总结

本文提出了一种灵活的混合模型框架，通过在EM算法中引入可调节参数的狄利克雷先验，实现线性混合更新，从而在多层图像分割中实现自适应空间平滑。该方法在使用学生t分布混合模型时展现出最先进水平的边界检测性能，并通过跨网络层的联合训练实现了逼真的自然图像合成。

ABSTRACT

Finite mixture models for clustering can often be improved by adding a regularization that is specific to the topology of the data. For instance, mixtures are common in unsupervised image segmentation, and typically rely on averaging the posterior mixing probabilities of spatially adjacent data points (i.e. smoothing). However, this approach has had limited success with natural images. Here we make three contributions. First, we show that a Dirichlet prior with an appropriate choice of parameters allows -- using the Expectation-Maximization approach -- to define any linear update rule for the mixing probabilities, including many smoothing regularizations as special cases. Second, we demonstrate how to use this flexible design of the update rule to propagate segmentation information across layers of a deep network, and to train mixtures jointly across layers. Third, we compare the standard Gaussian mixture and the Student-t mixture, which is known to better capture the statistics of low-level visual features. We show that our models achieve competitive performance in natural image segmentation, with the Student-t mixtures reaching state-of-the art on boundaries scores. We also demonstrate how to exploit the resulting multilayer probabilistic generative model to synthesize naturalistic images beyond uniform textures.

研究动机与目标

• 通过将拓扑感知正则化引入有限混合模型，提升无监督图像分割性能。
• 通过统一的概率框架，实现在深层网络各层之间传播分割信息。
• 比较高斯混合模型与学生t混合模型在捕捉低层次视觉特征统计特性方面的性能表现。
• 开发一种生成模型，能够合成超越均匀纹理的自然图像。

提出的方法

• 使用可调节参数的狄利克雷先验，定义EM算法中混合概率的任意线性更新规则，推广标准平滑技术。
• 设计一种灵活的更新机制，通过参数选择可涵盖多种平滑正则化作为特例。
• 通过在相同更新框架下联合训练各层的混合概率，将混合模型扩展至多层网络。
• 采用学生t混合模型替代高斯混合模型，以更好地建模低层次图像特征中的重尾分布。
• 构建一个多层概率生成模型，通过从学习到的联合分布中采样，支持图像合成。
• 应用EM算法优化各层的分量参数与混合权重，同时保持一致的正则化。

实验结果

研究问题

• RQ1 能否开发一种统一框架，灵活地将多种线性平滑规则整合到混合模型更新中，以实现图像分割？
• RQ2 与单层方法相比，跨多层网络联合训练混合模型在提升分割性能方面有何优势？
• RQ3 在自然图像分割中，学生t混合模型在建模低层次视觉特征方面相较于高斯混合模型的优越程度如何？
• RQ4 所提出的多层生成模型能否生成超越简单纹理的逼真自然图像？

主要发现

• 所提出的框架可通过狄利克雷先验编码任意线性更新规则用于混合概率，从而在混合模型中实现灵活的正则化。
• 跨网络层联合训练混合模型显著提升了分割性能，通过层次结构传播信息。
• 学生t混合模型在边界检测指标上达到最先进水平，优于高斯混合模型，能更有效地捕捉特征分布的尾部。
• 多层生成模型成功合成了超越均匀纹理的自然图像，展现出其强大的表达能力。