[논문 리뷰] Gaussian Process Morphable Models

Marcel Lüthi, Christoph Jud외 2명|arXiv (Cornell University)|2016. 03. 23.

Morphological variations and asymmetry인용 수 15

한 줄 요약

이 논문은 가우시안 프로세스를 사용하여 카르누넨-뢰브 전개와 니스트롬 근사법을 통해 형태 변형을 모델링하는, 통계적 형태 모델의 일반화인 가우시안 프로세스 형태 모델(GPMMs)을 소개한다. 이 방법은 학습 데이터가 필요로 하지 않으며, 연속적이고 민감한 형태 모델링이 가능하고, 다중 척도 및 공간적으로 변화하는 정렬을 지원하며, 모델링과 피팅을 분리시켜 분할 및 정렬 성능을 향상시킨다.

ABSTRACT

Statistical shape models (SSMs) represent a class of shapes as a normal distribution of point variations, whose parameters are estimated from example shapes. Principal component analysis (PCA) is applied to obtain a low-dimensional representation of the shape variation in terms of the leading principal components. In this paper, we propose a generalization of SSMs, called Gaussian Process Morphable Models (GPMMs). We model the shape variations with a Gaussian process, which we represent using the leading components of its Karhunen-Loeve expansion. To compute the expansion, we make use of an approximation scheme based on the Nystrom method. The resulting model can be seen as a continuous analogon of an SSM. However, while for SSMs the shape variation is restricted to the span of the example data, with GPMMs we can define the shape variation using any Gaussian process. For example, we can build shape models that correspond to classical spline models, and thus do not require any example data. Furthermore, Gaussian processes make it possible to combine different models. For example, an SSM can be extended with a spline model, to obtain a model that incorporates learned shape characteristics, but is flexible enough to explain shapes that cannot be represented by the SSM. We introduce a simple algorithm for fitting a GPMM to a surface or image. This results in a non-rigid registration approach, whose regularization properties are defined by a GPMM. We show how we can obtain different registration schemes,including methods for multi-scale, spatially-varying or hybrid registration, by constructing an appropriate GPMM. As our approach strictly separates modelling from the fitting process, this is all achieved without changes to the fitting algorithm. We show the applicability and versatility of GPMMs on a clinical use case, where the goal is the model-based segmentation of 3D forearm images.

연구 동기 및 목표

• 기존의 주성분분석(PCA) 기반 통계적 형태 모델-SSMs를 일반화하여, 선형적이고 데이터 기반의 형태 변형을 연속적이고 확률적인 가우시안 프로세스 프레임워크로 대체한다.
• 큰 학습 데이터셋에 의존하지 않고도 임의의 커널 함수(스플라인 및 반경기저함수 포함)를 사용할 수 있도록 하여, 형태 모델링을 가능하게 한다.
• 형태 모델링과 피팅을 분리하는 통합 프레임워크를 개발하여, 사전 설계를 통해 민감한 정렬 기법을 가능하게 한다.
• 니스트롬 방법을 사용하여 가우시안 프로세스 변형의 낮은 랭크 근사를 수치적으로 효율적으로 계산하는 방법을 제공한다.
• 임상적 3차원 영상 분석에서의 유용성을 입증하며, 특히 전위부 분할 및 비선형 정렬에 초점을 맞춘다.

제안 방법

• 형태 변형을 가우시안 프로세스 $ u \sim \mathcal{GP}(\mu, k) $ 로 모델링하며, 여기서 $ \mu $ 는 평균 변형이고 $ k $ 는 공분산 함수이다.
• 가우시안 프로세스를 그의 카르누넨-뢰브 전개의 상위 $ r $ 개 성분으로 표현한다: $ u = \mu + \sum_{i=1}^{r} \alpha_i \sqrt{\lambda_i} \phi_i $, 여기서 $ \alpha_i \sim \mathcal{N}(0,1) $ 이다.
• 도메인의 일부 점들로부터 커널 행렬의 고유함수와 고유값을 효율적으로 근사하기 위해 니스트롬 방법을 사용한다.
• 적절한 커널 함수를 정의함으로써 정렬 사전을 구성하여, 다중 척도, 공간적으로 변화하는, 또는 특징점 기반 정규화를 가능하게 한다.
• 비선형 정렬 알고리즘을 통해 표면 또는 영상에 GPMM을 피팅하며, GPMM 사전을 변형 정규화에 사용한다.
• 전체 GP에서 샘플을 추출하고 낮은 랭크 GP 회귀를 사용하여 재구성 오차를 측정함으로써 근사 품질을 평가한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스를 사용하여 PCA 기반 통계적 형태 모델을 연속적이고 데이터에 의존하지 않는 프레임워크로 일반화할 수 있는가?
• RQ2 제한된 수의 점들로 가우시안 프로세스의 카르누넨-뢰브 전개를 효율적으로 근사할 수 있는가?
• RQ3 GPMMs가 피팅 알고리즘의 수정 없이도 다중 척도 또는 공간적으로 변화하는 정렬 기법을 지원할 수 있는가?
• RQ4 커널 함수의 선택이 결과 형태 모델의 표현력과 근사 품질에 어떤 영향을 미치는가?
• RQ5 GPMMs가 임상적 3차원 영상 분석 과제에서 모델 기반 분할 및 영상 정렬 성능을 어느 정도 향상시킬 수 있는가?

주요 결과

• GPMM 프레임워크는 가우시안 프로세스와 카르누넨-뢰브 전개를 조합하여 형태 변형의 연속적이고 저차원적 표현을 달성하며, 학습 데이터의 선형 영역을 초월한 민감한 모델링이 가능하다.
• 니스트롬 방법을 사용함으로써, 큰 도메인에서도 상위 고유함수와 고유값을 효율적으로 계산할 수 있으며, 분산의 99%를 커버할 경우 근사 오차가 1% 이하로 낮다.
• 임의의 커널 함수(반경기저함수 및 스플라인 포함)를 사용할 수 있어, 학습 데이터 없이도 모델을 구축할 수 있다.
• 다양한 커널 함수를 조합함으로써 GPMMs는 다중 척도 또는 공간적으로 변화하는 성질을 가진 사전을 생성할 수 있으며, 정렬의 유연성을 향상시킨다.
• 임상적 3차원 전위부 영상 분할 과제에서 GPMMs는 학습된 형태 통계를 통합하면서도 알려지지 않은 형태에 대해서도 민감한 유연성을 유지함으로써 표준 활성 형태 모델보다 뛰어난 성능을 보였다.
• 이 프레임워크는 통합된 정렬 접근을 가능하게 하며, 동일한 피팅 알고리즘이 다양한 GPMM 사전에서 작동함으로써 모듈성과 모델링과 피팅의 분리를 입증한다.