[논문 리뷰] Compositional Visual Generation and Inference with Energy Based Models

Yilun Du, Shuang Li외 1명|arXiv (Cornell University)|2020. 04. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 8

한 줄 요약

이 논문은 에너지 기반 모델(EBM)을 사용하여 조합적 시각 생성 및 추론을 위한 새로운 프레임워크를 제안한다. 여기서 '웃는다' 또는 '남성'과 같은 개념들은 개별 에너지 함수로 표현된다. 논리 연산자(합성, 선택, 부정)를 통해 이러한 함수들을 조합함으로써, 복잡한 복합 개념을 만족하는 일관된 이미지를 생성할 수 있다. 이는 셀레브라A 및 합성 3D 시각에서 지속적 학습, 제로샷 조합 일반화, 강력한 개념 추론을 입증한다.

ABSTRACT

A vital aspect of human intelligence is the ability to compose increasingly complex concepts out of simpler ideas, enabling both rapid learning and adaptation of knowledge. In this paper we show that energy-based models can exhibit this ability by directly combining probability distributions. Samples from the combined distribution correspond to compositions of concepts. For example, given a distribution for smiling faces, and another for male faces, we can combine them to generate smiling male faces. This allows us to generate natural images that simultaneously satisfy conjunctions, disjunctions, and negations of concepts. We evaluate compositional generation abilities of our model on the CelebA dataset of natural faces and synthetic 3D scene images. We also demonstrate other unique advantages of our model, such as the ability to continually learn and incorporate new concepts, or infer compositions of concept properties underlying an image.

연구 동기 및 목표

• 기계 학습 시스템이 인간의 조합적 추론을 모방하여 더 단순한 구성 요소에서 복잡한 시각적 개념을 조합할 수 있도록 한다.
• 고정 인자 분리 표현 및 강성 있는 객체 슬롯 모델의 한계를 극복하기 위해 인자 수준과 객체 수준의 조합성을 통합한다.
• 기존 모델을 재학습하지 않고도 새로운 개념(예: 새로운 헤어 컬러)을 새로운 에너지 함수로 추가함으로써 지속적 학습을 지원한다.
• 테스트 시점에 논리 문장(예: '웃는다'이자 '남성')을 통해 제어 가능한 이미지 생성을 가능하게 한다.
• 에너지 최소화를 통해 다수의 관측에서부터 객체 위치, 형태 등의 정확한 개념 추론을 수행하며, 훈련 중에 볼 수 없었던 다강인물 시나리오에서도 성능을 유지한다.

제안 방법

• 각 시각적 개념(예: '웃는 얼굴', '남성')을 저에너지가 발생하는 이미지에 대해 낮은 에너지를 할당하는 개별 스칼라 에너지 함수로 표현한다.
• 논리 연산자(합성(덧셈), 선택(최대값), 부정(보완))를 사용해 에너지 함수를 조합함으로써, 복합 개념의 재귀적 조합이 가능해진다.
• 전체 조합된 함수의 총 에너지를 최소화하는 방식으로 마르코프 체인 몬테카를로(MCMC) 샘플링을 통해 이미지를 생성함으로써 글로벌 일관성을 확보한다.
• 생성 및 추론 중 모두 효율적인 샘플링과 에너지 최소화를 위해 랭제빈 역학을 사용한다.
• 대비 학습 또는 노이즈 대비 추정을 사용하여 특정 개념(예: 객체 위치, 형태, 색상)에 대해 개별 EBMs를 훈련한다.
• 다수의 관측에서 에너지 합을 최소화함으로써 개념 추론을 수행하며, 최대 사후확률(MAP)을 통해 가장 가능성 있는 기저 개념 파rameter(예: 위치)를 추정한다.

실험 결과

연구 질문

• RQ1 에너지 기반 모델은 논리 연산자(합성, 선택, 부정)를 사용해 조합된 복잡한 이미지를 생성할 수 있는가?
• RQ2 기존 전체 시스템을 재학습하지 않고도 새로운 개념을 점진적으로 추가함으로써 지속적 학습을 지원할 수 있는가?
• RQ3 훈련 중에 볼 수 없었던 시나리오에서도, 다수의 관측에서 기반 개념 파rameter(예: 객체 위치, 크기)를 추론할 수 있는가?
• RQ4 훈련 데이터에 존재하지 않은 다강인물 시나리오와 같은 새로운 조합에 대해 얼마나 잘 일반화되는가?
• RQ5 테스트 시점에 논리 문장을 명시함으로써 세밀한 제어가 가능한 이미지 생성이 가능한가?

주요 결과

• 모델은 '웃는 남성 얼굴'과 같은 복합 개념을 '웃는다'와 '남성'의 개별 에너지 함수를 조합하여 자연스러운 이미지를 성공적으로 생성한다.
• EBM은 기준 모델보다 더 나은 외삽 성능을 보이며, 다양한 훈련 데이터를 사용할수록 객체 위치 오차가 감소한다.
• 다수의 관측에서의 개념 추론은 높은 정확도와 강건성을 확보하며, 위치 예측 작업에서 ResNet 기준 모델을 능가한다.
• 훈련 중에 본 적이 없는 두 개의 큐브가 있는 시나리오에서 EBM의 에너지 맵은 개별 큐브 에너지 맵의 합과 일치하는 이중모달 구조를 보이며, 조합적 추론을 확인한다.
• 모델은 제로샷 조합 일반화를 보여주며, 훈련 중에 볼 수 없었던 개념 조합에 대해서도 타당한 이미지를 생성한다.
• 에너지 함수의 재귀적 조합은 논리 문장을 기반으로 한 민첩하고 제어 가능한 생성을 가능하게 하며, 통합된 프레임워크에서 생성과 추론을 모두 지원한다.