[논문 리뷰] Vitruvio: 3D Building Meshes via Single Perspective Sketches

Alberto Tono, Huang, Heyaojing외 2명|arXiv (Cornell University)|2022. 10. 24.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

Vitruvio는 단일 시점 원근도 스케치에서 임의의 토폴로지와 함께 3D 프린팅 가능한 건물 메시로 변환하는 딥러닝 방법으로, 자체 제작한 Manhattan 1K 데이터셋에 적응한 점유도 네트워크를 활용한다. 기존 최고 성능(SOTA) 대비 추론 속도를 26% 향상시키고 Chamfer 거리도 18% 향상시켜 기술적 모델링 기술이 없는 건축 설계 분야에서 더 빠르고 정확한 3D 재구성 가능성을 제공한다.

ABSTRACT

Today's architectural engineering and construction (AEC) software require a learning curve to generate a three-dimension building representation. This limits the ability to quickly validate the volumetric implications of an initial design idea communicated via a single sketch. Allowing designers to translate a single sketch to a 3D building will enable owners to instantly visualize 3D project information without the cognitive load required. If previous state-of-the-art (SOTA) data-driven methods for single view reconstruction (SVR) showed outstanding results in the reconstruction process from a single image or sketch, they lacked specific applications, analysis, and experiments in the AEC. Therefore, this research addresses this gap, introducing the first deep learning method focused only on buildings that aim to convert a single sketch to a 3D building mesh: Vitruvio. Vitruvio adapts Occupancy Network for SVR tasks on a specific building dataset (Manhattan 1K). This adaptation brings two main improvements. First, it accelerates the inference process by more than 26% (from 0.5s to 0.37s). Second, it increases the reconstruction accuracy (measured by the Chamfer Distance) by 18%. During this adaptation in the AEC domain, we evaluate the effect of the building orientation in the learning procedure since it constitutes an important design factor. While aligning all the buildings to a canonical pose improved the overall quantitative metrics, it did not capture fine-grain details in more complex building shapes (as shown in our qualitative analysis). Finally, Vitruvio outputs a 3D-printable building mesh with arbitrary topology and genus from a single perspective sketch, providing a step forward to allow owners and designers to communicate 3D information via a 2D, effective, intuitive, and universal communication medium: the sketch.

연구 동기 및 목표

• 건축 공학 및 시공(AEC) 분야에서 단일 원근도 스케치로부터 3D 건물 재구성을 위한 전문화된 딥러닝 방법의 부족을 해결하기 위해.
• 비전문가가 기술적 장벽 없이 2D 스케치만으로도 설계 아이디어를 신속하고 직관적으로 3D로 시각화할 수 있도록 하기 위해.
• 단일 스케치에서 임의의 토폴로지와 종수(genus)를 가진 3D 프린팅 가능한 메시를 생성하는 방법을 개발하기 위해.
• 건물 방향 전환의 영향이 AEC 도메인의 재구성 품질에 미치는 영향을 평가하기 위해.
• 점유도 네트워크를 건물 설계의 맥락에서 단일 시점 재구성(SVR)에 적응시켜 추론 속도와 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 자체 제작한 1,000개의 건물 스케치로 구성된 데이터셋인 Manhattan 1K에 특화된 단일 시점 재구성(SVR)을 위해 점유도 네트워크 아키텍처를 적응시켰다.
• 2D 스케치 특징을 3D 점유도 예측 공간에 통합하기 위해 신경 레이디언스 필드 기반 인코딩 전략을 사용한다.
• 각 3D 점이 건물 내부 또는 외부에 속하는지 예측하는 학습된 암묵 함수를 통해 복잡한 토폴로지 재구성을 가능하게 한다.
• 3D 메시의 정확도를 최적화하기 위해 가분성 Chamfer 거리 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 모델 정량화와 최적화된 추론 파이프라인을 통해 추론 시간을 0.5초에서 0.37초로 단축시켜 속도를 향상시켰다.
• 모델은 임의의 종수와 토폴로지를 지원하며, 3D 프린팅에 적합한 메시를 생성한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 AEC 도메인에서 단일 2D 원근도 스케치로부터 정확한 3D 건물 메시를 효과적으로 재구성할 수 있는가?
• RQ2 표준 자세 정렬이 복잡한 건물 형태에서 재구성 품질에 어떤 영향을 미치는가?
• RQ3 점유도 네트워크의 적응이 건물 스케치의 추론 속도와 재구성 정확도 향상에 얼마나 기여하는가?
• RQ4 방향 정규화 없이 훈련했을 때 모델이 세밀한 기하학적 디테일을 어떻게 유지하는가?
• RQ5 생성된 3D 메시는 직접 3D 프린팅이 가능한가? 이는 설계 워크플로우에서의 실용성 여부를 시사한다.

주요 결과

• 모델은 추론 시간을 0.5초에서 0.37초로 26% 단축시켜 상호작용 설계에서 빠른 처리를 가능하게 했다.
• 기존 SOTA 방법 대비 Chamfer 거리 지표가 18% 향상되어 더 높은 재구성 정확도를 보였다.
• 모든 건물을 표준 자세로 정렬함으로써 총합 정량적 지표는 향상되었지만, 복잡한 형태의 세밀한 디테일 품질은 떨어졌다.
• 모델은 임의의 토폴로지와 종수를 가진 3D 프린팅 가능한 메시를 성공적으로 생성하여 실용적인 후속 응용 가능성을 확보했다.
• 정성적 분석을 통해 방향 인식 훈련이 표준 정렬 대비 더 많은 기하학적 디테일을 유지하는 것으로 확인되었으며, 특히 복잡한 건물 형태에서 뚜렷했다.
• 모델은 미리 볼 수 없는 건물 유형에 대해서도 강력한 일반화 능력을 보여 실세계 건축 스케치에 대한 견고성을 입증했다.