[논문 리뷰] Learning Graphical Models of Images, Videos and Their Spatial Transformations

Brendan J. Frey, Nebojša Jojić|arXiv (Cornell University)|2013. 01. 16.

Image Retrieval and Classification Techniques참고 문헌 8인용 수 34

한 줄 요약

이 논문은 혼합 분포 모델과 은닉 마르코프 모델과 같은 확률적 모델에 이산적인 공간 변환 변수(예: 이동, 비틀림)를 통합하여 영상 및 동영상에 대한 변환 불변 그래픽 모델을 제안한다. EM 알고리즘을 사용함으로써, 입력 변환에 대해 강건한 클러스터링, 차원 축소, 시계열 분석이 가능하며, 현미경 영상 필터링, 얼굴 클러스터링, 숫자 인식, 동영상 객체 추적 및 간섭 제거 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Mixtures of Gaussians, factor analyzers (probabilistic PCA) and hidden Markov models are staples of static and dynamic data modeling and image and video modeling in particular. We show how topographic transformations in the input, such as translation and shearing in images, can be accounted for in these models by including a discrete transformation variable. The resulting models perform clustering, dimensionality reduction and time-series analysis in a way that is invariant to transformations in the input. Using the EM algorithm, these transformation-invariant models can be fit to static data and time series. We give results on filtering microscopy images, face and facial pose clustering, handwritten digit modeling and recognition, video clustering, object tracking, and removal of distractions from video sequences.

연구 동기 및 목표

• 영상 및 동영상에서 이동 및 비틀림과 같은 공간 변환에 대해 불변인 확률적 그래픽 모델을 개발하는 것.
• 혼합 정규분포 및 은닉 마르코프 모델과 같은 표준 모델을 확장하여 이산 변환 변수를 통합함으로써 강건성을 향상시키는 것.
• 공간적 변형이 존재하는 상황에서도 효과적인 클러스터링, 차원 축소 및 시계열 분석을 수행할 수 있도록 영상 및 동영상 데이터에 적용하는 것.
• 현장에서의 응용 과제인 현미경 영상 필터링, 얼굴 자세 클러스터링, 수기 숫자 인식, 동영상 객체 추적에 이 프레임워크를 적용하는 것.
• 노이즈, 간섭, 기하학적 변형이 존재하는 상황에서도 변환 불변 모델링이 성능 향상에 기여함을 입증하는 것.

제안 방법

• 입력 데이터의 정위치 변환(예: 이동, 비틀림)을 고려하기 위해 그래픽 모델에 이산 변환 변수를 도입한다.
• 학습 과정에서 모델 파라미터와 변환 변수를 동시에 추정하기 위해 기대값 최대화(EM) 알고리즘을 적응적으로 적용한다.
• 이미지 및 동영상 데이터의 분포를 모델링하기 위해 변환 불변 성분을 가진 혼합 정규분포를 사용한다.
• 시간적 모델링을 위해 동적 데이터에 적용하기 위해 은닉 마르코프 모델에 변환 변수를 통합한다.
• 각 데이터 포인트를 잠재 프로토타입의 변환된 형태로 모델링하는 생성 모델 접근법을 사용하며, 변환을 잠재 변수로 간주한다.
• 변환 변수에 대해 주변 분포를 취함으로써 추론 및 학습을 수행함으로써, 명시적 데이터 증강 없이도 불변성을 달성한다.

실험 결과

연구 질문

• RQ1 영상 및 동영상에서 이동 및 비틀림과 같은 공간 변환에 대해 불변인 확률적 그래픽 모델을 구축할 수 있는가?
• RQ2 혼합 정규분포 및 HMM과 같은 표준 모델에 이산 변환 변수를 통합하여 강건성을 향상시킬 수 있는가?
• RQ3 변환 불변성을 통합할 경우, 영상 및 동영상 클러스터링, 인식, 필터링 작업의 성능 향상 정도는 어느 정도인가?
• RQ4 EM 알고리즘이 공동 추론 프레임워크에서 모델 파라미터와 변환 변수를 효과적으로 학습할 수 있는가?
• RQ5 제안된 방법은 영상 시퀀스에서 간섭 및 기하학적 변형을 다룰 때 기준 모델에 비해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 변환 불변 모델은 구조적 세부 정보를 유지하면서 노이즈와 잡음 요소를 제거함으로써 현미경 영상 필터링 성능을 크게 향상시킨다.
• 얼굴 자세 클러스터링 및 다양한 공간 구성에서의 얼굴 표정을 식별하는 데 있어 최신 기술 수준의 성능을 달성한다.
• 소규모 이동 및 왜곡에 대한 불변성 덕분에 수기 숫자 인식 정확도가 향상되어 표준 혼합 모델을 능가한다.
• 공간 변환을 잠재 변수로 모델링함으로써 영상 클러스터링 및 객체 추적 성능이 향상되어 부분적 가림 상황에서도 강건한 추적을 가능하게 한다.
• 배경을 변환 불변 프로토타입으로 모델링함으로써 영상 시퀀스에서 움직이는 물체와 같은 간섭 요소를 효과적으로 제거할 수 있다.
• EM 기반 학습 프레임워크는 다양한 영상 및 동영상 데이터셋에서 성공적으로 수렴하고 일반화되며, 확장성과 강건성을 입증한다.