[论文解读] Gaussian Process Morphable Models

Marcel Lüthi, Christoph Jud+2 more|arXiv (Cornell University)|Mar 23, 2016

Morphological variations and asymmetry被引用 15

一句话总结

本文提出了高斯过程可变形模型（GPMMs），这是基于主成分分析的统计形状模型的推广，通过使用高斯过程结合Nyström近似进行Karhunen-Loève展开，以建模形状变化。该方法实现了无需训练数据的灵活、连续的形状建模，支持多尺度和空间变化的配准，并通过将建模与拟合解耦，提升了分割和配准性能。

ABSTRACT

Statistical shape models (SSMs) represent a class of shapes as a normal distribution of point variations, whose parameters are estimated from example shapes. Principal component analysis (PCA) is applied to obtain a low-dimensional representation of the shape variation in terms of the leading principal components. In this paper, we propose a generalization of SSMs, called Gaussian Process Morphable Models (GPMMs). We model the shape variations with a Gaussian process, which we represent using the leading components of its Karhunen-Loeve expansion. To compute the expansion, we make use of an approximation scheme based on the Nystrom method. The resulting model can be seen as a continuous analogon of an SSM. However, while for SSMs the shape variation is restricted to the span of the example data, with GPMMs we can define the shape variation using any Gaussian process. For example, we can build shape models that correspond to classical spline models, and thus do not require any example data. Furthermore, Gaussian processes make it possible to combine different models. For example, an SSM can be extended with a spline model, to obtain a model that incorporates learned shape characteristics, but is flexible enough to explain shapes that cannot be represented by the SSM. We introduce a simple algorithm for fitting a GPMM to a surface or image. This results in a non-rigid registration approach, whose regularization properties are defined by a GPMM. We show how we can obtain different registration schemes,including methods for multi-scale, spatially-varying or hybrid registration, by constructing an appropriate GPMM. As our approach strictly separates modelling from the fitting process, this is all achieved without changes to the fitting algorithm. We show the applicability and versatility of GPMMs on a clinical use case, where the goal is the model-based segmentation of 3D forearm images.

研究动机与目标

• 通过用连续、概率性的高斯过程框架替代基于PCA的线性、数据驱动形状变化，推广传统的基于PCA的统计形状模型（SSMs）。
• 通过允许使用任意核函数（包括样条和径向基函数）实现无需依赖大规模训练数据集的形状建模。
• 构建一个统一的框架，将形状建模与拟合过程分离，通过先验设计实现灵活的配准方案。
• 提供一种数值高效的低秩近似方法，利用Nyström方法计算高斯过程形变的低秩近似。
• 在临床3D医学图像分析中展示GPMMs的实用性，特别是在前臂分割和非刚性配准任务中的应用。

提出的方法

• 将形状形变建模为高斯过程 $ u \sim \mathcal{GP}(\mu, k) $，其中 $ \mu $ 为平均形变，$ k $ 为协方差函数。
• 使用其Karhunen-Loève展开的前 $ r $ 个分量表示该GP：$ u = \mu + \sum_{i=1}^{r} \alpha_i \sqrt{\lambda_i} \phi_i $，其中 $ \alpha_i \sim \mathcal{N}(0,1) $。
• 利用Nyström方法，从定义域上的一小部分点中高效近似核矩阵的特征函数与特征值。
• 通过定义合适的核函数构建配准先验，实现多尺度、空间变化或基于特征点约束的正则化。
• 通过非刚性配准算法将GPMM拟合到表面或图像上，利用GPMM先验对形变进行正则化。
• 通过从完整GP中采样并使用低秩GP回归测量重构误差，评估近似质量。

实验结果

研究问题

• RQ1 能否利用高斯过程将基于PCA的统计形状模型推广为一种连续、与数据无关的框架？
• RQ2 如何高效地近似GP的Karhunen-Loève展开，以在仅使用有限数量点的情况下实现形状建模？
• RQ3 GPMMs是否能够在不修改拟合算法的前提下，支持灵活的配准方案（如多尺度或空间变化）？
• RQ4 核函数的选择如何影响所生成形状模型的表达能力与近似质量？
• RQ5 GPMMs在临床3D医学图像分析任务中，能在多大程度上提升基于模型的分割与图像配准性能？

主要发现

• GPMM框架通过结合高斯过程与Karhunen-Loève展开，实现了形状变化的连续、低维表示，使建模能力超越训练数据的线性子空间。
• 利用Nyström方法，即使在大域上也能高效计算主导特征函数与特征值，当覆盖99%方差时，近似误差低于1%。
• 该方法支持使用任意核函数（包括径向基函数和样条函数）进行建模，允许在无任何训练数据的情况下构建模型。
• 通过组合多个核函数，GPMMs可生成具有多尺度或空间变化特性的先验，增强配准的灵活性。
• 在临床3D前臂图像分割任务中，GPMMs在保留对未见形状的灵活性的同时，通过引入学习到的形状统计信息，优于标准主动形状模型。
• 该框架实现了统一的配准方法：相同的拟合算法可适用于不同的GPMM先验，体现了模块化设计以及建模与拟合的解耦。