[논문 리뷰] Towards causal generative scene models via competition of experts

Julius von Kügelgen, Ivan Ustyuzhaninov외 3명|arXiv (Cornell University)|2020. 04. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 21

한 줄 요약

이 논문은 비순차적이고 깊이 순서로 생성 및 추론하는 과정을 통해 반복되는 시점 구성 요소에 특화된 전문가들이 경쟁하도록 하는 ECON을 제안한다. 이는 레이어링된 깊이와 물리적으로 타당한 가림을 포함한 객체의 재조합이 가능한 모듈러하고 객체별로 특화된 표현을 비지도 학습을 통해 학습한다.

ABSTRACT

Learning how to model complex scenes in a modular way with recombinable components is a pre-requisite for higher-order reasoning and acting in the physical world. However, current generative models lack the ability to capture the inherently compositional and layered nature of visual scenes. While recent work has made progress towards unsupervised learning of object-based scene representations, most models still maintain a global representation space (i.e., objects are not explicitly separated), and cannot generate scenes with novel object arrangement and depth ordering. Here, we present an alternative approach which uses an inductive bias encouraging modularity by training an ensemble of generative models (experts). During training, experts compete for explaining parts of a scene, and thus specialise on different object classes, with objects being identified as parts that re-occur across multiple scenes. Our model allows for controllable sampling of individual objects and recombination of experts in physically plausible ways. In contrast to other methods, depth layering and occlusion are handled correctly, moving this approach closer to a causal generative scene model. Experiments on simple toy data qualitatively demonstrate the conceptual advantages of the proposed approach.

연구 동기 및 목표

• 물리적으로 타당하고 구성적인 생성 모델을 개발하여 시각적 시점의 원인론적 구조를 포착한다.
• 복잡한 다강인물 시점과 비트ivial한 배열 및 가림을 다루는 데에서 전통적인 통합적 생성 모델의 한계를 해결한다.
• 전역 공유 특징 공간에 의존하지 않고도 비지도 학습을 통해 객체별 특화된 표현을 학습한다.
• 모듈러하고 전문화된 전문가를 통해 제어 가능한 객체 생성 및 재조합을 지원한다.
• 가림과 깊이 레이어링 같은 물리적 제약을 고려한 순차적이고 깊이 순서로 정렬된 과정을 통해 시점 생성을 모델링한다.

제안 방법

• 모델는 각각 특정 객체 클래스나 개념을 표현하도록 훈련된 생성 모델(전문가)의 앙상블을 사용한다.
• 훈련 중에 전문가들은 시점의 일부를 설명하기 위해 경쟁하며, 유일한 승자 전문가만 나머지 설명되지 않은 영역에 대해 업데이트된다.
• 시점 생성은 뒤에서 앞쪽으로 깊이 순서로 진행되어 자연스러운 가림과 레이어링을 가능하게 한다.
• 추론은 반대로 진행되며, 각 단계에서 전문가들이 가장 두드러진 설명되지 않은 영역을 설명하기 위해 경쟁하여 가려진 객체의 보정을 허용한다.
• 경쟁 메커니즘은 전문화를 이끌며, 각 전문가는 할당된 객체 클래스의 전체적이고 가려지지 않은 인스턴스를 생성하도록 학습한다.
• 모델는 알려진 최대 객체 클래스 수 K를 가정하며, 형태와 객체에 조건부로 독립적인 정규분포로 픽셀 값을 모델링한다.

실험 결과

연구 질문

• RQ1 비지도 모델이 전문가 간의 경쟁을 통해 복잡한 시점을 재조합 가능한 객체별 구성 요소로 분해할 수 있는가?
• RQ2 순차적이고 깊이 순서로 정렬된 생성 구조를 가진 생성 모델이 시점 구성에서 가림과 깊이 레이어링을 정확히 다룰 수 있는가?
• RQ3 전문가 간의 경쟁이 명시적 지도 없이도 서로 다른 객체 클래스에 자연스럽게 전문화되는가?
• RQ4 다른 객체 클래스에서 훈련된 전문가들을 새로운 깊이 순서로 재조합하여 새로운 시점 구성 요소를 생성할 수 있는가?
• RQ5 모듈러하고 전문가 기반 접근 방식은 통합적 생성 모델에 비해 구성적이고 원인론적 시점 구조를 모델링하는 데서 어떻게 비교되는가?

주요 결과

• ECON 모델은 전문가 간의 경쟁 훈련을 통해 시점을 깊이 순서로 정렬된 객체 레이어로 분해하는 데 성공했다.
• 전문가들은 서로 다른 객체 클래스에 특화되어 있으며, 객체는 훈련 이미지에서 반복적으로 나타나는 연속된 영역으로 식별된다.
• 특정 전문가를 선택하여 개별 객체의 제어 가능한 샘플링이 가능해져 모듈러 재사용을 지원한다.
• 새로운 깊이 순서로 배열된 전문가들을 재조합하여 새로운 시점 구성 요소를 생성할 수 있으며, 물리적 타당성을 유지한다.
• 추론 과정에서 가려진 영역이 보정되며, 전문가들이 전체적이고 가려지지 않은 객체 인스턴스를 생성하도록 학습한다.
• 이 접근 방식은 단순한 토이 데이터에서 구성적이고 원인론적 시점 생성을 모델링하는 데 있어 정성적으로 성공을 보이며, 통합적 생성 모델을 넘어서는 성과를 보였다.