[논문 리뷰] Bayesian Deformable Models Building via Stochastic Approximation Algorithm: A Convergence Study

Stéphanie Allassonnière, Estelle Kuhn외 1명|arXiv (Cornell University)|2007. 06. 06.

Morphological variations and asymmetry참고 문헌 9인용 수 13

한 줄 요약

이 논문은 비정렬되고 기하학적으로 변형 가능한 데이터를 위한 베이지안 변형 모델에서 MAP 추정기의 근사치를 구하기 위해 SAEM에 영감을 받은 확률적 근사 알고리즘을 제안한다. 관측 가능 우도의 임계점으로의 수렴을 증명하였으며, 손글씨 숫자 이미지에 대해 검증하여, 노이즈 조건 하에서 결정론적 EM 유사 방법에 비해 더 견고한 대안을 제공한다.

ABSTRACT

The problem of the definition and the estimation of generative models based on deformable templates from raw data is of particular importance for modelling non aligned data affected by various types of geometrical variability. This is especially true in shape modelling in the computer vision community or in probabilistic atlas building for Computational Anatomy (CA). A first coherent statistical framework modelling the geometrical variability as hidden variables has been given by Allassonniere, Amit and Trouve (JRSS 2006). Setting the problem in a Bayesian context they proved the consistency of the MAP estimator and provided a simple iterative deterministic algorithm with an EM flavour leading to some reasonable approximations of the MAP estimator under low noise conditions. In this paper we present a stochastic algorithm for approximating the MAP estimator in the spirit of the SAEM algorithm. We prove its convergence to a critical point of the observed likelihood with an illustration on images of handwritten digits.

연구 동기 및 목표

• 비정렬 데이터(예: 계산 해부학 및 컴퓨터 비전에서와 같이)의 기하학적 변동성을 모델링하는 데 도전하는 것.
• 낮은 노이즈 조건 하에서 MAP 추정을 위한 결정론적 EM 유사 방법에 비해 향상된 확률적 알고리즘을 개발하는 것.
• 제안된 알고리즘의 관측 가능 우도 함수의 임계점으로의 이론적 수렴을 확립하는 것.
• 원시적이고 변동성이 있는 데이터 입력을 사용하여 변형 템플릿 모델에 대한 실용적이고 일관된 추정 프레임워크를 제공하는 것.

제안 방법

• 형태 및 영상 분석을 위한 베이지안 변형 모델 프레임워크에 SAEM(확률적 근사 EM) 알고리즘을 적응시킴.
• 기하학적 변동성을 은닉 변수로 간주하여, MAP 추정기를 반복적으로 추정하기 위해 확률적 근사 체계를 도입함.
• E단계에서 충분통계량을 근사하기 위해 몬테카를로 샘플링을 사용하며, 결정론적 계산을 확률적 계산으로 대체함.
• 이중 단계 반복 프로세스를 사용: 은닉 변수의 확률적 샘플링 이후 감소하는 이득 수열을 사용한 모델 파라미터 업데이트.
• 은닉 변형의 사후분포에서 샘플링하고, 감소하는 이득 수열을 사용해 모델 파라미터를 업데이트하는 방식으로 알고리즘을 번갈아가며 수행함.
• 약한 정규성 조건 하에서 관측 가능 우도 함수의 임계점으로의 수렴을 보여줌으로써 이론적 수렴을 확립함.

실험 결과

연구 질문

• RQ1 노이즈 조건 하에서 결정론적 EM 유사 방법에 비해 확률적 알고리즘이 변형 모델의 MAP 파라미터 추정에서 성능을 뛰어나게 할 수 있는가?
• RQ2 제안된 확률적 근사 체계가 베이지안 변형 모델의 맥락에서 의미 있는 해로 수렴하는가?
• RQ3 이 알고리즘은 손글씨 숫자나 해부학적 구조와 같은 비정렬 데이터의 기하학적 변동성을 어떻게 다루는가?
• RQ4 제안된 확률적 알고리즘이 관측 가능 우도의 임계점으로의 수렴에 대한 이론적 근거는 무엇인가?
• RQ5 복잡한 변동성을 가진 고차원 형태나 영상 데이터에서 알고리즘이 일관성과 안정성을 유지할 수 있는가?

주요 결과

• 제안된 확률적 알고리즘은 약한 정규성 조건 하에서 관측 가능 우도 함수의 임계점으로 거의 확실히 수렴한다.
• 이 수렴 결과는 결정론적 EM 유사 접근 방식을 초월하여 변형 모델에서 MAP 추정의 이론적 기반을 확장한다.
• 이 방법은 특히 결정론적 단계의 근사 오차가 누적될 수 있는 낮은 노이즈 조건 하에서 결정론적 알고리즘에 비해 더 견고한 대안을 제공한다.
• 알고리즘은 실제 데이터—손글씨 숫자 이미지—에 대해 검증되어 실용성과 안정성을 입증하였다.
• E단계에서의 확률적 샘플링 사용은 복잡한 기하학적 변동성을 모델링하는 데 있어 더 높은 유연성과 확장성을 향상시킨다.