[논문 리뷰] Depth Structure Preserving Scene Image Generation

Wendong Zhang, Bingbing Ni외 3명|arXiv (Cornell University)|2017. 06. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 3

한 줄 요약

이 논문은 깊이 층 간의 공간적 의존성을 하크스 점 프로세스를 통해 모델링하고 각 층 내에서 조건부 GAN을 훈련시어 자연 풍경 이미지 생성 시 깊이 구조를 유지하는 계층적 생성 적대적 네트워크인 DSP-GAN을 제안한다; SUN 데이터셋의 일부에서 수행된 실험을 통해 모델은 깊이 구조가 현실적인 고화질의 풍경 이미지를 생성함을 입증한다.

ABSTRACT

Key to automatically generate natural scene images is to properly arrange among various spatial elements, especially in the depth direction. To this end, we introduce a novel depth structure preserving scene image generation network (DSP-GAN), which favors a hierarchical and heterogeneous architecture, for the purpose of depth structure preserving scene generation. The main trunk of the proposed infrastructure is built on a Hawkes point process that models the spatial dependency between different depth layers. Within each layer generative adversarial sub-networks are trained collaboratively to generate realistic scene components, conditioned on the layer information produced by the point process. We experiment our model on a sub-set of SUNdataset with annotated scene images and demonstrate that our models are capable of generating depth-realistic natural scene image.

연구 동기 및 목표

• 자동 자연 풍경 이미지 생성 과정에서 깊이 구조를 효과적으로 유지하는 데 도전하는 것.
• 계층적이고 이질적인 네트워크 아키텍처에서 서로 다른 깊이 층 간의 공간적 의존성을 모델링하는 것.
• 깊이 층 정보에 조건부로 생성 적대적 네트워크를 훈련시켜 현실적인 풍경 구성 요소를 생성하는 것.
• 깊이 계층을 명시적으로 인코딩하여 생성된 풍경 이미지의 현실성과 구조적 일관성을 향상시키는 것.

제안 방법

• 장면 내 서로 다른 깊이 층 간의 공간적 의존성을 모델링하기 위해 하크스 점 프로세스를 사용하는 것.
• 각 깊이 층이 전용 생성 적대적 하위 네트워크로 처리되는 계층적 아키텍처를 설계하는 것.
• 하크스 프로세스에서 생성된 층 전용 정보에 조건부로 각 하위 네트워크를 설정하여 깊이 인식 생성을 보장하는 것.
• 각 층 간의 일관성과 현실성을 유지하기 위해 하위 네트워크를 공동으로 훈련시키는 것.
• 풍경 생성에서 구조적 정밀도와 시각적 현실성의 균형을 이루기 위해 계층적이고 이질적인 네트워크 설계를 활용하는 것.
• SUN 데이터셋의 주석이 달린 깊이 층을 활용하여 깊이 인식 생성을 지도하고 현실성을 향상시키는 것.

실험 결과

연구 질문

• RQ1 자연 풍경 이미지 생성 과정에서 깊이 구조를 어떻게 효과적으로 유지할 수 있는가?
• RQ2 어떤 아키텍처 설계가 깊이 층 간의 공간적 의존성을 더 잘 모델링할 수 있는가?
• RQ3 깊이 조건부 하위 네트워크를 갖춘 계층적 GAN은 더 현실적이고 구조적으로 일관된 풍경을 생성할 수 있는가?
• RQ4 기본선 모델 대비 하크스 점 프로세스를 사용할 경우 깊이 인식 풍경 생성에 얼마나 기여하는가?

주요 결과

• 제안된 DSP-GAN 모델은 층 간 공간적 의존성을 모델링하여 생성된 자연 풍경 이미지에서 깊이 구조를 성공적으로 유지한다.
• 하크스 점 프로세스의 사용은 깊이 층 간 관계를 효과적으로 모델링할 수 있게 하여 구조적 일관성을 향상시킨다.
• 각 깊이 층 내에서 훈련된 조건부 GAN은 전체 깊이 레이아웃에 부합하는 현실적인 풍경 구성 요소를 생성한다.
• 주석이 달린 풍경 이미지가 포함된 SUN 데이터셋의 일부에서 모델은 현실성과 깊이 일관성 측면에서 향상된 성능을 보였다.
• 계층적이고 이질적인 아키텍처는 깊이 인식 풍경 생성의 더 나은 분리 및 제어를 가능하게 한다.
• 정량적 및 정성적 결과는 기존의 깊이 구조 모델링이 없는 기본선 GAN보다 모델이 더 깊이 구조가 현실적인 풍경을 생성함을 확인한다.