[논문 리뷰] City-GAN: Learning architectural styles using a custom Conditional GAN architecture

Maximilian Bachl, Daniel C. Ferreira|arXiv (Cornell University)|2019. 07. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 3인용 수 13

한 줄 요약

이 논문은 비엔나, 파리, 암스테르담, 맨해튼과 같은 도시에 특화된 현실적인 건축 외관을 학습하고 생성할 수 있는 커스터마이즈된 조건부 GAN 아키텍처인 City-GAN을 제안한다. 도시별 레이블과 수정된 생성자-판별자 구조를 통합함으로써, 표준 GAN과 비교해 더 높은 품질의 스타일적으로 정확한 이미지를 생성할 수 있으며, 도시 간 스타일의 부드러운 인터폴레이션도 가능하다.

ABSTRACT

Generative Adversarial Networks (GANs) are a well-known technique that is trained on samples (e.g. pictures of fruits) and which after training is able to generate realistic new samples. Conditional GANs (CGANs) additionally provide label information for subclasses (e.g. apple, orange, pear) which enables the GAN to learn more easily and increase the quality of its output samples. We use GANs to learn architectural features of major cities and to generate images of buildings which do not exist. We show that currently available GAN and CGAN architectures are unsuited for this task and propose a custom architecture and demonstrate that our architecture has superior performance for this task and verify its capabilities with extensive experiments.

연구 동기 및 목표

• 특정 도시에 고유한 현실적인 건축 스타일을 학습하고 생성할 수 있는 GAN 아키텍처를 개발하는 것.
• 다양한 건축적 특징을 지닌 복잡한 도시 외관 데이터를 모델링하는 데 있어 표준 GAN과 CGAN의 한계를 해결하는 것.
• 연속적인 레이블 공간을 활용해 도시 간 제어 가능한 생성 및 스타일 인터폴레이션을 가능하게 하는 것.
• 재현 가능한 연구를 위해 도시 외관 데이터셋을 정제하여 제공하는 것.
• 커뮤니티의 복제 및 기법 확장 지원을 위해 오픈소스 코드와 데이터를 제공하는 것.

제안 방법

• 도시 간 건축 스타일 변동성을 더 잘 모델링하기 위해 수정된 생성자와 판별자를 갖춘 커스터마이즈된 조건부 GAN 아키텍처를 설계하였다.
• 도시 레이블은 원-핫 벡터로 임bedding되어 노이즈 벡터와 생성자에서 연결되었으며, 판별자는 이미지 특징과 레이블 정보를 모두 사용해 진위 분류를 수행하였다.
• 데이터 증강 기법으로 수평 뒤집기(50% 확률)와 원본 크기의 85%로 무작위 자르기(크롭)를 적용하였으며, 입력 해상도는 64×64, 128×128, 256×256 픽셀이었다.
• 모델은 4,000장의 외관 이미지(도시당 1,000장)로 구성된 정제된 데이터셋과 다섯 도시에서 온 500,000장의 비정제된 데이터셋에서 훈련되었다.
• 레이블 벡터를 선형으로 인터폴레이션함으로써 스타일 인터폴레이션을 구현하였으며(예: 암스테르담에서 맨해튼으로), 건물 높이, 창문 크기, 屋根 구조 등에서 부드러운 전환을 보였다.
• 특징 제거를 위해 음수 레이블 가중치를 사용하였으며(예: 맨해튼에 대해 -1), 이로써 생성된 이미지에서 특정 스타일적 요소를 제거할 수 있었다.

실험 결과

연구 질문

• RQ1 커스터마이즈된 GAN 아키텍처는 도시 외관 데이터에 대해 표준 GAN과 CGAN보다 더 현실적이고 스타일적으로 정확한 외관을 생성할 수 있는가?
• RQ2 색상 팔레트, 창문 패턴, 屋根 구조, 식생 등의 건축적 특징은 도시 간 어떻게 다를 수 있으며, 이러한 특징들은 생성 모델에서 분리 가능할까?
• RQ3 모델이 도시 간 스타일을 얼마나 잘 인터폴레이션하여 현실적으로 보이는 하이브리드 건축 스타일을 생성할 수 있는가?
• RQ4 연속적인 레이블 공간의 사용이 도시 간 의미 있고 해석 가능한 스타일 전이를 가능하게 하는가?
• RQ5 모델은 정제된 데이터셋과 비정제된 데이터셋 모두에서 효과적으로 훈련될 수 있으며, 데이터 품질이 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 City-GAN 아키텍처는 동일한 데이터셋에서 표준 GAN과 CGAN보다 훨씬 높은 품질과 현실성 있는 외관 이미지를 생성하였다.
• 모델은 암스테르담의 빨간 톤, 피렌체의beige 외관, 워싱턴 D.C.의 나무가 많은 거리와 같은 독특한 건축적 특징을 성공적으로 포착하고 생성하였다.
• 암스테르담에서 맨해튼으로의 인터폴레이션은 건물 높이, 창문 크기, 屋根 구조 등에서 일관된 전환을 보였다.
• 특징 제거 실험 결과, 맨해튼 레이블이 나무와 현대식 건물의 스타일을 억제하며, 암스테르담에서 생성된 이미지에서 맨해튼 레이블을 제거함으로써 이러한 요소가 사라지는 것을 확인하였다.
• 모델은 비정제된 데이터셋으로도 일반화되었으며, 500,000장의 필터링되지 않은 외관 이미지에서 훈련된 경우에도 타당한 결과를 생성하였다. 다만 정제된 데이터셋을 사용한 경우보다 품질은 낮았다.
• 모델은 의미 있는 스타일 전이를 가능하게 하였으며, 예를 들어 도시 레이블 인터폴레이션을 통해 유럽의 성당을 미국식 고층 빌딩으로 변환할 수 있었다.