[논문 리뷰] Efficient inference in occlusion-aware generative models of images

Jonathan Huang, Kevin Murphy|arXiv (Cornell University)|2015. 11. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 37

한 줄 요약

이 논문은 전방에서 후방으로 순차적으로 구성함으로써 층화된 이미지 표현을 추론하는 완전히 미분 가능한 비지도 생성 모델인 복합 공간 변환 변동 자동차오디오(Composited Spatially-Transformed Variational Autoencoder, CST-VAE)를 제안한다. 공간 변환기와 형태 사전을 통합함으로써 내용과 자세를 분리하고, Superimposed MNIST에서 음영 인식 이미지 생성 및 분리 표현 학습에서 기준 VAE 및 ST-VAE보다 재구성 및 후행 분류 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

We present a generative model of images based on layering, in which image layers are individually generated, then composited from front to back. We are thus able to factor the appearance of an image into the appearance of individual objects within the image --- and additionally for each individual object, we can factor content from pose. Unlike prior work on layered models, we learn a shape prior for each object/layer, allowing the model to tease out which object is in front by looking for a consistent shape, without needing access to motion cues or any labeled data. We show that ordinary stochastic gradient variational bayes (SGVB), which optimizes our fully differentiable lower-bound on the log-likelihood, is sufficient to learn an interpretable representation of images. Finally we present experiments demonstrating the effectiveness of the model for inferring foreground and background objects in images.

연구 동기 및 목표

• 음영이 있는 장면에서 층화된 이미지 표현을 추론할 수 있는 완전히 미분 가능한 비지도 딥 생성 모델을 개발하는 것.
• 변동 자동차오디오 프레임워크 내에서 공간 변환기 네트워크를 사용해 내용을 자세(예: 위치, 크기)에서 분리하는 것.
• 전방에서 후방으로 순차적으로 층을 조합하는 방식으로 이미지 형성 모델을 설정함으로써 혼잡한 이미지에서 해석 가능한 분리된 추론을 가능하게 하는 것.
• 유추된 잠재 표현이 음영이 있는 이미지 데이터에서 후행 분류 작업 성능을 향상시킬 수 있음을 보여주는 것.
• 감독 없이 학습된 형태 사전이 운동 신호나 레이블 데이터에 의존하지 않고도 음영의 모호함을 해결할 수 있음을 보여주는 것.

제안 방법

• 모델는 공간 변환기 네트워크를 통합한 변동 자동차오디오(VAE) 프레임워크를 사용하며, 포터-더프 오버 연산자를 사용해 전방에서 후방으로 층을 순차적으로 조합하는 미분 가능한 이미지 생성 과정을 구현한다.
• 스포츠 변환기 네트워크(STNs)를 통합해 내용에서 자세 변화(예: 이동, 확대)를 분리함으로써 분리 표현 학습을 가능하게 한다.
• 각 이미지 층은 내용 및 자세 벡터를 샘플링하는 확률적 과정을 통해 생성되며, 형태 사전은 역전파를 통해 종단 간 학습된다.
• 추론은 하향식 및 상향식 과정을 번갈아 수행한다: 먼저 하향식으로 전경 물체를 식별하고, 그 재구성 결과를 생성 및 제거하여 잔여 층을 드러낸다.
• 모델는 관측된 이미지의 로그우도에 대한 하한을 최적화하기 위해 확률적 경사 하강 변동 베이즈(SGVB)를 사용해 훈련된다.
• 아키텍처는 고정된 층 수(N)를 가정하며, 각 층에 대해 별도의 내용 및 자세 잠재 변수를 사용하고, 완전히 미분 가능한 조합 연산을 적용한다.

실험 결과

연구 질문

• RQ1 완전히 미분 가능한 비지도 딥 생성 모델이 음영이 있는 이미지에서 겹치는 물체의 해석 가능한 분리 표현을 추론할 수 있는가?
• RQ2 감독 없이 학습된 형태 사전이 운동 신호나 레이블 데이터에 의존하지 않고도 음영의 모호함을 해결하고 정확한 층 분리가 가능한가?
• RQ3 변동 자동차오디오 프레임워크 내부에 공간 변환기를 통합함으로써 내용과 자세의 분리가 이미지 생성 및 추론에서 향상되는가?
• RQ4 CST-VAE 모델이 추론한 잠재 표현이 음영이 있는 데이터에서 표준 VAE 및 ST-VAE보다 후행 분류 작업 성능을 뛰어나게 하는가?
• RQ5 표준 VAE 이미지 생성 방식보다 순차적이고 층화된 조합 과정이 더 복잡한 음영을 모델링하는 데 효과적인가?

주요 결과

• CST-VAE 모델은 Superimposed MNIST 데이터셋에서 표준 VAE 및 ST-VAE보다 유의미하게 높은 테스트 로그우도를 달성하여 이미지 데이터 분포를 더 잘 모델링함을 시사한다.
• 평균적으로, CST-VAE 모델은 심한 음영이 있는 경우에도 전경 및 배경 숫자를 높은 정확도로 재구성하며, 분리된 층의 시각화 결과로 이를 입증한다.
• CST-VAE의 잠재 내용 벡터에 기반한 분류기가 음영이 있는 이미지에서 이중 숫자 분류 작업에서 표준 VAE(9.2%)에 비해 거의 두 배의 정확도(16.8%)를 달성한다.
• 모델는 층 간에 내용과 자세를 성공적으로 분리하며, 각 층의 내용 및 자세 벡터의 사후 평균이 해석 가능하고 의미적으로 유의미한 재구성을 제공한다.
• 형태 사전의 사용은 운동 신호나 레이블 데이터에 의존하지 않고도 정확한 층 순서와 물체 식별을 가능하게 하여 음영에 대한 강건성을 입증한다.
• 128차원의 은닉 레이어를 사용할 경우, 다양한 무작위 초기화에 대해 모델의 성능이 안정적이며, 더 작은 아키텍처에 비해 훈련 수렴성이 향상됨을 시사한다.