[논문 리뷰] Expectation-Maximization Technique and Spatial-Adaptation Applied to Pel-Recursive Motion Estimation

Vania V. Estrela, Marcos Henrique da Silva Bassani|arXiv (Cornell University)|2014. 03. 28.

Advanced Vision and Imaging참고 문헌 11인용 수 3

한 줄 요약

이 논문은 노이즈에 강건한 성능을 발휘하기 위해 반복적으로 운동 벡터를 정밀화하는 가우시안 모델과 국소 이미지 특성들을 활용하는 EM 기반의 공간적 적응형 페르-재귀 운동 추정 방법을 제안한다. 이 방법은 잡음이 있는 영상 시퀀스에서 추정 오차를 감소시키며, 정량적 평가에서 전통적인 페르-재귀 방법보다 뛰어난 성능을 보여준다.

ABSTRACT

Pel-recursive motion estimation isa well-established approach. However, in the presence of noise, it becomes an ill-posed problem that requires regularization. In this paper, motion vectors are estimated in an iterative fashion by means of the Expectation-Maximization (EM) algorithm and a Gaussian data model. Our proposed algorithm also utilizes the local image properties of the scene to improve the motion vector estimates following a spatially adaptive approach. Numerical experiments are presented that demonstrate the merits of our method.

연구 동기 및 목표

• 노이즈 조건 하에서 페르-재귀 운동 추정의 정의되지 않은 성격을 해결하기 위해.
• 공간적 적응을 통해 국소 이미지 특성을 통합하여 운동 벡터 추정 정확도를 향상시키기 위해.
• 반복적 정밀화를 위해 기대치-최대화(Expectation-Maximization) 알고리즘과 가우시안 데이터 모델을 적용하기 위해.
• 기본적인 페르-재귀 기법과의 비교를 통해 제안된 방법의 성능을 평가하기 위해.
• 통계 모델링과 공간적 적응성의 조합이 운동 추정에 미치는 영향을 입증하기 위해.

제안 방법

• 이 방법은 기대치-최대화(EM) 알고리즘을 사용하여 가우시안 노이즈 가정 하에 반복적으로 운동 벡터를 추정한다.
• 관측된 운동 벡터의 가능성(likelihood)을 표현하기 위해 가우시안 데이터 모델을 활용하여 통계적 정규화를 실현한다.
• 텍스처와 에지 정보와 같은 국소 이미지 특성에 기반하여 추정 과정을 조정함으로써 공간적 적응을 적용한다.
• 운동 벡터 추정을 향상시키기 위해 기대치(E-step)와 최대화(M-step) 단계를 번갈아가며 수행한다.
• 국소 이미지 특성을 활용하여 다양한 이미지 영역에서 정규화 강도를 가중치 또는 수정한다.
• 계산의 실현 가능성을 유지하면서도 운동 벡터 정확도를 향상시키기 위해 반복적으로 적용된다.

실험 결과

연구 질문

• RQ1 EM 알고리즘이 노이즈가 있는 페르-재귀 운동 추정에서 어떻게 운동 벡터 추정을 향상시킬 수 있는가?
• RQ2 국소 이미지 특성에 기반한 공간적 적응은 얼마나 운동 추정 정확도를 향상시키는가?
• RQ3 가우시안 데이터 모델이 정의되지 않은 운동 추정 문제를 효과적으로 정규화할 수 있는가?
• RQ4 제안된 방법은 기존의 표준 페르-재귀 접근법과 비교해 어떤 정도의 오차 감소를 달성하는가?
• RQ5 통계 모델링과 공간적 적응성의 조합이 운동 벡터 정밀도에 어떤 영향을 미치는가?

주요 결과

• 제안된 EM 기반 방법은 노이즈가 있는 영상 시퀀스에서 운동 벡터 추정 오차를 크게 감소시킨다.
• 국소 이미지 특성에 기반한 공간적 적응을 통합함으로써 무늬가 있는 영역 및 에지 영역에서 더 정확한 운동 벡터 추정이 가능해진다.
• 가우시안 데이터 모델의 사용은 효과적인 정규화를 가능하게 하여 노이즈 하에서 추정 과정의 안정성을 확보한다.
• EM을 통한 반복적 정밀화는 비반복적 방법에 비해 수렴성과 최종 추정 정확도를 향상시킨다.
• 수치적 결과는 제안된 방법이 기존의 페르-재귀 기법에 비해 운동 벡터 정확도 측면에서 뛰어나다는 것을 보여준다.
• 다양한 시나리오 콘텐츠에서 강건성을 유지하면서도 노이즈에 대한 민감도를 감소시킨다.