[논문 리뷰] Combining mixture models with linear mixing updates: multilayer image segmentation and synthesis.

Jonathan Vacher, Ruben Coen-Cagli|arXiv (Cornell University)|2019. 05. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 7

한 줄 요약

이 논문은 다층 이미지 분할을 위한 적응형 공간 스무딩을 가능하게 하는, Dirichlet prior를 통한 선형 혼합 업데이트를 통합한 윈용성 있는 혼합 모델 프레임워크를 제안한다. Student-t 혼합 모델을 사용하여 최신 기술 수준의 경계 검출을 달성하고, 네트워크 계층 간의 공동 학습을 통해 현실적인 자연 이미지 합성을 가능하게 한다.

ABSTRACT

Finite mixture models for clustering can often be improved by adding a regularization that is specific to the topology of the data. For instance, mixtures are common in unsupervised image segmentation, and typically rely on averaging the posterior mixing probabilities of spatially adjacent data points (i.e. smoothing). However, this approach has had limited success with natural images. Here we make three contributions. First, we show that a Dirichlet prior with an appropriate choice of parameters allows -- using the Expectation-Maximization approach -- to define any linear update rule for the mixing probabilities, including many smoothing regularizations as special cases. Second, we demonstrate how to use this flexible design of the update rule to propagate segmentation information across layers of a deep network, and to train mixtures jointly across layers. Third, we compare the standard Gaussian mixture and the Student-t mixture, which is known to better capture the statistics of low-level visual features. We show that our models achieve competitive performance in natural image segmentation, with the Student-t mixtures reaching state-of-the art on boundaries scores. We also demonstrate how to exploit the resulting multilayer probabilistic generative model to synthesize naturalistic images beyond uniform textures.

연구 동기 및 목표

• 유한 혼합 모델에 토폴로지 인식 정규화를 통합하여 비지도 이미지 분할을 향상시키기.
• 통일된 확률적 프레임워크를 통해 딥 네트워크의 계층 간에 분할 정보를 전파할 수 있도록 하기.
• 저수준 시각적 특징 통계를 캡처하는 데 있어 가우시안 혼합 모델과 Student-t 혼합 모델의 성능를 비교하기.
• 균일한 무늬를 초월하여 자연스러운 이미지를 합성할 수 있는 생성 모델 개발하기.

제안 방법

• EM 알고리즘 내 혼합 확률에 대한 임의의 선형 업데이트 규칙을 정의하기 위해 조정 가능한 매개변수를 가진 Dirichlet prior를 사용하여 표준 스무딩 기법을 일반화하기.
• 매개변수 선택을 통해 다양한 스무딩 정규화를 특수 케이스로 포함하는 융통성 있는 업데이트 메커니즘 설계하기.
• 동일한 업데이트 프레임워크를 사용하여 계층 간 혼합 확률을 공동으로 학습함으로써 혼합 모델을 다중 네트워크 계층으로 확장하기.
• 저수준 이미지 특징의 무거운 尾(꼬리) 분포를 더 잘 모델링하기 위해 가우시안 혼합 모델 대신 Student-t 혼합 모델 사용하기.
• 학습된 결합 분포에서 샘플링할 수 있도록 다층 확률 생성 모델을 제안하여 이미지 합성 지원하기.
• 일致된 정규화를 유지하면서 계층 간 구성 요소 파라미터와 혼합 가중치를 최적화하기 위해 EM 알고리즘 적용하기.

실험 결과

연구 질문

• RQ1 다양한 선형 스무딩 규칙을 혼합 모델 업데이트에 융통성 있게 통합할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 다중 네트워크 계층 간 혼합 모델의 공동 학습은 단일 계층 접근 방식에 비해 분할 성능를 어떻게 향상시키는가?
• RQ3 자연 이미지 분할을 위한 저수준 시각적 특징을 모델링할 때, Student-t 혼합 모델이 가우시안 혼합 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 결과적으로 도출된 다층 생성 모델은 균일한 무늬를 초월하여 현실적인 자연스러운 이미지 샘플을 생성할 수 있는가?

주요 결과

• 제안된 프레임워크는 Dirichlet prior를 통해 혼합 확률에 대한 임의의 선형 업데이트 규칙을 인코딩할 수 있어 혼합 모델 내에서 융통성 있는 정규화를 가능하게 한다.
• 계층 간 혼합 모델의 공동 학습은 계층 구조를 통해 정보를 전파함으로써 분할 성능를 크게 향상시킨다.
• Student-t 혼합 모델은 경계 검출 지표에서 최신 기술 수준의 성능를 달성하며, 특징 분포 꼬리 부분을 더 잘 캡처하는 데서 가우시안 혼합 모델을 능가한다.
• 다층 생성 모델은 균일한 무늬를 초월하여 현실적인 자연스러운 이미지 샘플을 성공적으로 합성하여, 그 표현 능력을 입증한다.