[논문 리뷰] Roof-GAN: Learning to Generate Roof Geometry and Relations for Residential Houses

Yiming Qian, Hao Zhang외 1명|arXiv (Cornell University)|2020. 12. 17.

3D Shape Modeling and Analysis참고 문헌 39인용 수 6

한 줄 요약

Roof-GAN은 학습된 기하 관계를 가진 그래프로 屋根 프리미티브를 모델링하여 현실적이고 다양한 주거용 屋根 구조를 생성하는 새로운 생성적 적대적 네트워크이다. 이는 기하 구조와 공간적 관계를 동시에 생성하고 강제하기 위해 가시화 가능한 벡터라이저와 래스터 기반 기하 표현을 사용하며, 새로운 구조적 기하 생성을 위한 메트릭을 도입하여 정량적·정성적 평가에서 기존 방법을 능가한다.

ABSTRACT

This paper presents Roof-GAN, a novel generative adversarial network that generates structured geometry of residential roof structures as a set of roof primitives and their relationships. Given the number of primitives, the generator produces a structured roof model as a graph, which consists of 1) primitive geometry as raster images at each node, encoding facet segmentation and angles; 2) inter-primitive colinear/coplanar relationships at each edge; and 3) primitive geometry in a vector format at each node, generated by a novel differentiable vectorizer while enforcing the relationships. The discriminator is trained to assess the primitive raster geometry, the primitive relationships, and the primitive vector geometry in a fully end-to-end architecture. Qualitative and quantitative evaluations demonstrate the effectiveness of our approach in generating diverse and realistic roof models over the competing methods with a novel metric proposed in this paper for the task of structured geometry generation. Code and data are available at https://github.com/yi-ming-qian/roofgan .

연구 동기 및 목표

• 복잡한 기하 관계를 가진 다양하고 현실적인 주거용 屋根 구조를 생성하기 위해.
• 학습된 공간적 관계(예: 공선성, 공면성)를 가진 프리미티브의 그래프로 屋根 기하를 모델링하기 위해.
• 가시화 가능한 벡터라이저를 사용하여 기하 구조 및 관계 생성을 엔드 투 엔드로 훈련 가능하게 하기 위해.
• 물리적 및 토폴로지적 충실도를 캡처하는 새로운 평가 메트릭(RMMD)을 개발하여 구조적 기하 생성을 평가하기 위해.
• 학습 데이터에 존재하지 않는 새로운 屋根 형상(예: O자형 건물)을 생성하는 복합 일반화 능력을 입증하기 위해.

제안 방법

• 생성자는 노드가 4채널 래스터 이미지로 면 분할 및 각도를 인코딩한 屋根 프리미티브를 나타내는 그래프를 구성한다.
• 엣지는 공선성 및 공면성과 같은 기하 관계를 원핫 벡터로 인코딩한다.
• 새로운 기하 구조의 가시화 가능한 벡터라이저는 각 노드에서 래스터 기하를 벡터 형식으로 변환하며, 이는 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 판별자는 전체 기하 구조 조합과 관계 및 벡터화된 기하의 정확성을 평가한다.
• 두 개의 판별자를 사용한다: 하나는 전반적인 기하 구조를, 다른 하나는 국소적 관계 및 기하를 평가한다.
• 생성적 손실을 사용하여 엔드 투 엔드로 훈련되며, 관계 및 기하에 대한 지도 학습이 적용된다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 복잡한 기하 관계를 가진 다양하고 현실적인 주거용 屋根 구조를 생성할 수 있는가?
• RQ2 가시화 가능한 벡터라이저는 공간적 관계를 강제하면서도 벡터화된 屋根 기하를 엔드 투 엔드로 학습할 수 있는가?
• RQ3 공선성, 공면성과 같은 관계를 명시적으로 모델링하는 것이 이러한 제약 조건을 忽略하는 방법보다 생성 품질을 향상시키는가?
• RQ4 학습 데이터에 존재하지 않는 새로운 屋根 구성(예: O자형 건물)에 대해 모델은 일반화 가능한가?
• RQ5 제안된 RMMD 메트릭은 구조적 기하에서 의미 있는 차이를 캡처하는 데 FID보다 얼마나 우수한가?

주요 결과

• Cross-validation(3프리미티브 테스트 세트)에서 Roof-GAN은 PQ-Net과 House-GAN보다 RMMD 기준 39% 향상되어 우수한 일반화 능력을 입증하였다.
• 제거 실험 결과, 관계 인코딩을 제거하면 성능이 6.6% 저하되어 그 중요성을 확인하였다.
• 가시화 가능한 벡터라이저를 제거하면 성능이 4.5% 저하되어 그 효과를 검증하였다.
• Roof-GAN은 학습 데이터에 존재하지 않는 O자형 건물과 같은 새로운 현실적인 屋根 형상을 생성하여 강력한 복합 일반화 능력을 보였다.
• 모델 검색에서 Roof-GAN은 시각적 검토 및 RMMD 점수 모두에서 실제값과 가장 유사한 토폴로지 및 기하를 지속적으로 생성하였다.
• FID 점수는 Roof-GAN이 항상 유리했지만, RMMD는 물리적 단위 기반의 거리 측정을 제공하므로 더 해석 가능한 반면, FID는 그 해석성이 제한되었다.