[논문 리뷰] Object-Centric Image Generation with Factored Depths, Locations, and Appearances

Titas Anciukevicius, Christoph H. Lampert외 1명|arXiv (Cornell University)|2020. 04. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 8

한 줄 요약

이 논문은 이미지 콘텐츠를 명시적인 2D 위치, 깊이, 외관 및 모달 분할 마스크를 가진 별개의 객체로 분해하는 완전히 비지도, 객체 중심의 생성 모델을 제안한다. 구조화된 잠재 공간과 학습되지 않은, 미분 가능한 이미지 조립 과정을 활용함으로써, 모델은 레이블 없이도 이미지를 재구성하고, 가림을 당한 경우에도 완전한 객체를 생성하며, 정확한 깊이 순서와 가려진 부분을 추론할 수 있다. 이는 비지도 설정에서 최고 수준의 모달 분할 성능을 달성한다.

ABSTRACT

We present a generative model of images that explicitly reasons over the set of objects they show. Our model learns a structured latent representation that separates objects from each other and from the background; unlike prior works, it explicitly represents the 2D position and depth of each object, as well as an embedding of its segmentation mask and appearance. The model can be trained from images alone in a purely unsupervised fashion without the need for object masks or depth information. Moreover, it always generates complete objects, even though a significant fraction of training images contain occlusions. Finally, we show that our model can infer decompositions of novel images into their constituent objects, including accurate prediction of depth ordering and segmentation of occluded parts.

연구 동기 및 목표

• 객체 수준의 애너테이션이 전혀 없이도 이미지를 명시적인 2D 위치, 깊이 및 외관을 갖춘 객체들로 분해하는 생성 모델을 개발하는 것.
• 학습 이미지에 가림이 포함되어 있어도 완전하고 타당한 객체와 장면을 생성할 수 있도록 하는 것.
• 새로운 이미지에서 모달 분할(숨겨진 부분 포함)과 객체 간 깊이 순서를 레이블 없이 추론하는 것.
• 잠재 공간에서 객체 외관, 위치, 깊이를 분리된 해석 가능한 표현으로 분리하는 것.

제안 방법

• 모델은 배경과 각 객체에 대해 별도의 변수를 갖는 구조화된 잠재 공간을 사용하며, 이는 외관 임베딩, 2D 위치, 깊이, 알파 마스크를 포함한다.
• 학습되지 않은, 그러나 미분 가능한 이미지 조립 과정을 통해 객체의 위치, 깊이, 알파 마스크에 따라 객체를 병합함으로써 현실적인 가림을 시뮬레이션한다.
• 모델은 변분 추론을 통해 원시 픽셀에서만 객체 요소를 추정함으로써 입력 이미지를 재구성하도록 훈련된다.
• 객체의 위치와 깊이는 잠재 변수로 명시적으로 모델링되어, 모델이 가림 순서와 모달 범위를 추론할 수 있도록 한다.
• 디코더는 외관을 위한 깊은 신경망을 사용해 각 객체를 독립적으로 생성하며, 조립 과정이 물리적 타당성을 강제한다.
• 모델은 데이터에서 학습하는 대신, 이미지 형성에 관한 사전 지식(예: 깊이 순서, 알파 병합)을 활용한다.

실험 결과

연구 질문

• RQ1 완전히 비지도 생성 모델은 명시적인 2D 위치, 깊이 및 모달 마스크를 갖춘 객체로 이미지를 분해할 수 있는가?
• RQ2 이러한 모델은 분할 애너테이션이 전혀 없이도 가려진 객체의 완전한(모달) 범위를 추론할 수 있는가?
• RQ3 구조화된 잠재 공간은 객체 위치, 외관, 깊이에 대한 분리된 제어를 가능하게 하는가?
• RQ4 모델은 새로운 이미지에서 겹치는 객체들 간의 깊이 순서를 정확히 예측할 수 있는가?

주요 결과

• 모델은 겹치는 다각형에 대해 평균 모달 IOU 0.90, CLEVR-3에 대해 0.85를 기록하여 강력한 비지도 모달 분할 성능를 입증했다.
• 작은 객체와 복잡한 배경을 가진 CLEVR-5-vbg에서는 모달 IOU가 0.65로, 여전히 우연의 경우보다 유의미하게 높았다.
• CLEVR-3에서 겹치는 객체 쌍의 92%와 겹치는 다각형에서 87%의 깊이 순서를 정확히 예측했으며, CLEVR-5-vbg에선 70%의 정확도를 기록했다.
• 잠재 공간에서의 분리된 보간 결과는 외관과 위치를 시각적 잡음 없이 독립적으로 변경할 수 있음을 보여주며 표현의 분리성 확인.
• 학습 이미지에 상당한 가림이 포함되어 있어도 모델은 현실적이고 일관된 장면과 타당한 고립된 객체를 생성한다.
• 유사한 능력의 비객체 중심 기준 모델 대비 이미지 생성 품질과 분리성에서 뛰어난 성능을 보였다.