[논문 리뷰] Deep Structured Generative Models

Kun Xu, Haoyu Liang외 3명|arXiv (Cornell University)|2018. 07. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 복잡한 시나리오 구조를 모델링하고 고품질의 현실적인 이미지를 생성하기 위해 확률적 And-Or 그래프(sAOG)와 생성적 적대적 네트워크(GANs)를 통합한 딥 구조적 생성 모델을 제안한다. sAOG를 사용해 계층적인 객체 레이아웃과 관계를 인코딩하고, 경계 상자와 속성에 조건화된 픽셀 단위의 정밀화 네트워크를 통해 세부적인 이미지를 생성함으로써, 뛰어난 이미지 품질을 달성하고 정확한 구조 추론을 바탕으로 해석 가능하고 편집 가능한 시나리오 생성을 가능하게 한다.

ABSTRACT

Deep generative models have shown promising results in generating realistic images, but it is still non-trivial to generate images with complicated structures. The main reason is that most of the current generative models fail to explore the structures in the images including spatial layout and semantic relations between objects. To address this issue, we propose a novel deep structured generative model which boosts generative adversarial networks (GANs) with the aid of structure information. In particular, the layout or structure of the scene is encoded by a stochastic and-or graph (sAOG), in which the terminal nodes represent single objects and edges represent relations between objects. With the sAOG appropriately harnessed, our model can successfully capture the intrinsic structure in the scenes and generate images of complicated scenes accordingly. Furthermore, a detection network is introduced to infer scene structures from a image. Experimental results demonstrate the effectiveness of our proposed method on both modeling the intrinsic structures, and generating realistic images.

연구 동기 및 목표

• 깊이 학습 생성 모델이 이미지 내에서 복잡한 공간적 및 의미적 구조를 포착하는 데에 한계가 있음을 해결하기 위해.
• 객체 관계와 공간 레이아웃과 같은 명시적인 시나리오 구조에 의해 안내되는 조건부 이미지 생성을 가능하게 하기 위해.
• 확률적 문법 모델에서 유도된 구조적 잠재 변수를 통해 이미지 편집의 해석 가능성을 지원하기 위해.
• 실제 이미지에서 시나리오 구조를 추론할 수 있는 인식 모델을 개발하여 재구성 및 편집을 가능하게 하기 위해.
• 딥 생성 네트워크를 활용해 구조적 시나리오 모델링과 사진 수준의 현실감 있는 이미지 생성 간 격차를 메우기 위해.

제안 방법

• 비단말 노드는 그룹이나 관계를, 단말 노드는 개별 객체를 나타내는 계층적 시나리오 구조를 모델링하기 위해 확률적 And-Or 그래프(sAOG)를 사용한다.
• 문법 모델을 활용해 공간적 및 의미적 관계를 확률적 규칙으로 인코딩한 파싱 그래프로서의 시나리오 레이아웃을 생성한다.
• sAOG에서 생성된 경계 상자와 객체 속성(예: 레이블, 회전, 재질)에 조건화된 U-Net 기반의 정밀화 네트워크를 사용하여 480×320 해상도의 현실적인 이미지를 생성한다.
• 실제 이미지에서 잠재적 sAOG 구조를 추론하기 위해 검출 네트워크(faster R-CNN with ResNet-52)를 도입하여 이미지 압축 및 재구성 기능을 가능하게 한다.
• 6층의 컨볼루션 판별자와 이중 단계의 정밀화 프로세스를 사용한다: 먼저 경계 상자에서 군데진 이미지를 생성한 후, 고해상도 출력으로 정밀화한다.
• 수정된 스케일 연결을 적용한 픽셀 대 픽셀 정밀화를 통해 이미지 생성 중 형태와 공간 정밀도를 유지한다.

실험 결과

연구 질문

• RQ1 sAOG와 같은 구조적 잠재 변수 모델이 이미지 생성을 위해 복잡한 공간적 및 의미적 관계를 효과적으로 포착할 수 있는가?
• RQ2 GAN 기반의 정밀화 네트워크가 sAOG에서 생성된 레이아웃과 속성에 조건화된 사진 수준의 현실감 있는 이미지를 생성할 수 있는가?
• RQ3 인식 모델이 실제 이미지에서 기저의 시나리오 구조를 정확히 추론할 수 있는가? 이를 통해 재구성 및 편집이 가능한가?
• RQ4 기존의 GANs나 VAEs에 비해 구조적 사전 지식을 통합할 경우 이미지 생성 품질이 얼마나 향상되는가?
• RQ5 구조적 제어를 통해 객체 조작, 이동, 속성 수정과 같은 다양한 이미지 편집 작업을 프레임워크가 유연하게 지원할 수 있는가?

주요 결과

• 제안된 방법은 VAE 및 SN-GAN 기반 모델보다 더 높은 품질의 이미지를 생성하며, 일관되고 현실적인 객체 배치를 보여준다.
• sAOG 기반의 레이아웃 생성은 공간적 및 의미적 관계를 포함한 복잡한 시나리오 구조를 효과적으로 모델링하여 조건부 이미지 합성을 가능하게 한다.
• 인식 모델은 3D 위치 회귀에서 평균 제곱 오차가 0.014를 기록하여 실제 이미지에서의 구조 추론 정확도가 높음을 나타낸다.
• sAOG에서 레이아웃을 샘플링하고 이를 정밀화하여 현실적인 이미지로 변환함으로써 프레임워크는 종단 간 생성 능력을 입증한다.
• 480×320 이미지에 대해 1KB 압축률을 달성하여 효과적인 구조 인코딩을 보여준다.
• 잠재 공간의 구조적 제어를 통해 객체 추가, 제거, 이동, 속성 수정과 같은 다양한 편집 작업을 지원한다.