[논문 리뷰] Decorating Your Own Bedroom: Locally Controlling Image Generation with Generative Adversarial Networks

Chen Zhang, Yinghao Xu외 1명|arXiv (Cornell University)|2021. 05. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 6

한 줄 요약

이 논문은 사전 훈련된 StyleGAN2 모델에서 중간 특징 맵을 조작함으로써 콘텐츠 및 스타일 조절 연산자를 사용하고 우선순위 마스크를 도입함으로써 로컬 이미지 편집을 위한 LoGAN을 제안한다. 이는 재학습 없이도 정밀하고 유연한 편집, 예를 들어 객체 제거, 삽입, 회전, 전체 방 재장식이 가능하며, 침실 합성 작업에서 사진처럼 사실적인 결과를 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) have made great success in synthesizing high-quality images. However, how to steer the generation process of a well-trained GAN model and customize the output image is much less explored. It has been recently found that modulating the input latent code used in GANs can reasonably alter some variation factors in the output image, but such manipulation usually presents to change the entire image as a whole. In this work, we propose an effective approach, termed as LoGAN, to support local editing of the output image. Concretely, we introduce two operators, i.e., content modulation and style modulation, together with a priority mask to facilitate the precise control of the intermediate generative features. Taking bedroom synthesis as an instance, we are able to seamlessly remove, insert, shift, and rotate the individual objects inside a room. Furthermore, our method can completely clear out a room and then refurnish it with customized furniture and styles. Experimental results show the great potentials of steering the image generation of pre-trained GANs for versatile image editing.

연구 동기 및 목표

• 사전 훈련된 GAN을 사용한 이미지 생성에서 일반적으로 전역 편집만 허용하는 바탕으로, 로컬이고 세밀한 제어의 과제를 해결하기 위해.
• 모델을 재학습하지 않고도 특정 객체를 제거하거나 삽입하거나 회전하거나 재배치할 수 있는 사용자 지향적 편집을 가능하게 하기 위해.
• 모든 객체를 제거하고 새로운 가구 및 스타일로 다시 장식하는 완전한 방 재장식을 지원하는 방법을 개발하기 위해.
• 중간 특징 맵과 우선순위 마스크를 통한 공간적 추론을 활용하여 로컬 편집 중에 사진처럼 사실적인 결과와 공간 일관성을 유지하기 위해.

제안 방법

• 콘텐츠 조절은 객체 정체성과 위치를 제어하고, 스타일 조절은 외관을 변경하는 두 가지 조절 연산자를 도입하며, 이는 모두 중간 특징 맵에 적용된다.
• 중복되는 객체 간의 공간적 갈등을 해결하기 위해 우선순위 마스크를 사용하여 적절한 층상 구조와 시각적 일관성을 보장한다.
• 입력 이미지에서 방의 구조(벽, 바닥, 천장)와 객체 위치를 추론하기 위해 의미 세분화와 기하학적 히우리스틱 기반의 레이아웃 파싱 파이프라인을 사용한다.
• StyleGAN2 생성자에서 특정 레이어에서 편집을 수행한다: 배경과의 자연스러운 블렌딩을 위해 객체 제거 작업은 레이어 4에서 수행하고, 최적의 형태와 텍스처 보존을 위해 객체 삽입은 레이어 7에서 수행한다.
• 다운샘플된 객체 마스크에 클러스터링을 적용하여 객체 자세를 식별하고, 학습된 잠재 코드 클러스터 간의 보간을 통해 회전을 가능하게 한다.
• 레이어별 합성 기반으로 객체를 지정된 위치와 레이어에 삽입하여 점진적으로 장면을 구성하고, 샘플된 잠재 코드를 사용한 스타일 전이를 수행한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GAN의 중간 특징 맵을 효과적으로 활용하여 재학습 없이도 로컬이고 세밀한 이미지 편집을 가능하게 할 수 있는가?
• RQ2 특히 삽입 및 재배치 중에 여러 객체 간의 공간 관계를 어떻게 유지할 수 있는가?
• RQ3 블렌딩 품질과 구조적 정확성의 균형을 고려할 때, 객체 제거 및 삽입과 같은 편집 작업에 가장 적합한 레이어는 어디인가?
• RQ4 동일한 사전 훈련된 GAN 모델을 사용하여 방을 완전히 비우고 새로운 가구와 스타일로 재장식할 수 있는가?
• RQ5 특징 공간에서 잠재 코드 조작을 통해 객체의 회전과 스타일 전이를 어느 정도 달성할 수 있는가?

주요 결과

• 생성자의 4번째 레이어에서 객체 제거를 수행할 경우, 더 큰 수신장에 기인해 배경과 가장 자연스럽게 블렌딩되며, 후속 레이어보다 시각적 일관성에서 뛰어난 성능을 보였다.
• 객체 삽입은 레이어 7에서 수행했을 때 이전 레이어들보다 객체의 형태와 텍스처 보존 측면에서 열등한 결과를 보였고, 이는 과도한 스무딩으로 인한 특징 왜곡 방지에 기여했다.
• 우선순위 마스크는 다중 객체 삽입 중 공간 갈등을 효과적으로 해결하여 복잡한 장면에서도 적절한 층상 구조와 시각적 타당성을 유지했다.
• 다운샘플된 객체 마스크에 대한 클러스터링을 통해 객체 자세의 정확한 탐지가 가능했고, 클러스터 중심 간 보간을 통해 부드러운 회전이 가능했다.
• 이 방법은 원본 레이아웃과 배경 텍스처를 정확히 반영하는 사진처럼 사실적인 빈 침실을 성공적으로 생성하여, 레이아웃 파싱 파이프라인의 효과성을 입증했다.
• 샘플된 잠재 코드를 사용한 재스타일링은 다양한 시각적 일관성 있는 결과를 생성하여, 이 방법이 장식된 장면에서의 스타일 전이에 있어 뛰어난 유연성을 보여주었다.