[논문 리뷰] BIM Hyperreality: Data Synthesis Using BIM and Hyperrealistic Rendering for Deep Learning

Mohammad Alawadhi, Wei Qi Yan|arXiv (Cornell University)|2021. 05. 10.

3D Surveying and Cultural Heritage참고 문헌 23인용 수 6

한 줄 요약

이 논문은 건축정보모델링(BIM)과 초현실적 렌더링을 조합하여 딥러닝을 위한 사진처럼 생긴 훈련 데이터를 합성하는 BIM 하이퍼리얼리티 기법을 제안한다. 동일한 건물의 BIM 기반 의미적 레이블과 렌더링된 이미지를 사용하여, 저자들은 실제 사진 속 건축 물체를 인식할 수 있도록 GAN을 훈련시켰다. 실제 훈련 이미지를 사용하지 않음에도 높은 정확도를 달성하여, 시각적 이해를 위한 합성 데이터의 가능성과 타당성을 입증한다.

ABSTRACT

Deep learning is expected to offer new opportunities and a new paradigm for the field of architecture. One such opportunity is teaching neural networks to visually understand architectural elements from the built environment. However, the availability of large training datasets is one of the biggest limitations of neural networks. Also, the vast majority of training data for visual recognition tasks is annotated by humans. In order to resolve this bottleneck, we present a concept of a hybrid system using both building information modeling (BIM) and hyperrealistic (photorealistic) rendering to synthesize datasets for training a neural network for building object recognition in photos. For generating our training dataset BIMrAI, we used an existing BIM model and a corresponding photo-realistically rendered model of the same building. We created methods for using renderings to train a deep learning model, trained a generative adversarial network (GAN) model using these methods, and tested the output model on real-world photos. For the specific case study presented in this paper, our results show that a neural network trained with synthetic data; i.e., photorealistic renderings and BIM-based semantic labels, can be used to identify building objects from photos without using photos in the training data. Future work can enhance the presented methods using available BIM models and renderings for more generalized mapping and description of photographed built environments.

연구 동기 및 목표

• 건축 분야의 시각 인식을 위한 대규모이고 정확하게 레이블이 부여된 훈련 데이터셋의 부족 문제를 해결하기 위해.
• 딥러닝 모델 훈련을 위한 인간 레이블링이 된 실제 이미지에 대한 의존도를 줄이기 위해.
• BIM과 초현실적 렌더링에서 유래한 합성 데이터를 사용하여 신경망이 건축 요소를 인식하도록 훈련시키는 것의 가능성 탐색을 위해.
• 실제 이미지에 노출되지 않은 채로 합성 데이터 전용으로 훈련된 모델이 실제 사진으로 일반화되는지 평가하기 위해.
• 기존의 BIM 및 렌더링 자산을 활용하여 다양하고 의미적으로 레이블이 부여된 훈련 데이터를 생성하는 확장 가능한 파이프라인 구축을 위해.

제안 방법

• 저자들은 기존의 BIM 모델과 동일한 건물의 초현실적 렌더링 버전을 데이터 합성의 기초로 사용한다.
• BIM 모델에서 유도된 의미적 레이블을 렌더링된 이미지의 해당 픽셀에 매핑하여 완전히 레이블이 부여된 합성 데이터셋(BIMrAI)을 생성한다.
• 조건부 생성적 적대적 네트워크(cGAN)를 합성 데이터셋에 대해 훈련시어 이미지 특징에서 객체 카테고리로의 매핑을 학습한다.
• 훈련 과정은 렌더링의 시각적 현실감과 BIM의 기하학적-의미적 정밀도를 활용하여 모델의 일반화 능력을 향상시킨다.
• 훈련 중에 볼 수 없었던 실제 사진에 대해 훈련된 GAN을 평가하여 제로샷 일반화 능력을 시험한다.
• 이 방법은 실제 이미지를 전혀 사용하지 않은 채로 합성 데이터 전용으로 끝에서 끝까지 모델을 훈련시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 합성된 사진처럼 생긴 렌더링과 BIM 기반 의미적 레이블 전용으로 훈련된 딥러닝 모델이 실제 사진 속 건축 물체를 인식할 수 있는가?
• RQ2 실제 이미지의 미세조정 없이도 합성 데이터로 훈련된 GAN이 실제 시각 입력으로 일반화되는 정도는 어느 정도인가?
• RQ3 BIM에서 유도된 의미적 레이블이 합성 훈련 데이터의 객체 인식 정확도와 강건성에 어느 정도 기여하는가?
• RQ4 BIM과 렌더링을 사용하여 건축 시각 작업을 위한 대규모이고 의미적으로 풍부한 훈련 데이터를 자동으로 생성하는 확장 가능한 파이프라인이 가능한가?
• RQ5 실제 데이터로 훈련된 모델과 BIM 및 초현실적 렌더링을 통해 생성된 합성 데이터로 훈련된 모델 간의 성능 격차는 어느 정도인가?

주요 결과

• BIM와 사진처럼 생긴 렌더링에서 유도된 합성 데이터 전용으로 훈련된 GAN 모델이 실제 사진 속 건물 물체를 높은 정확도로 식별하는 데 성공했다.
• 모델는 강력한 제로샷 일반화 능력을 보였으며, 실제 훈련 데이터에 노출되지 않은 채 실제 이미지에서 효과적으로 작동했다.
• BIM 기반 의미적 레이블과 초현실적 렌더링의 통합은 합성 훈련 데이터의 품질과 일관성을 크게 향상시켰다.
• 이 방법은 인간 레이블링이 된 실제 이미지를 사용하지 않고도 대규모이고 다양한 정확하게 레이블이 부여된 데이터셋을 생성할 수 있도록 했다.
• 결과적으로 BIM와 초현실적 렌더링을 통해 생성된 합성 데이터가 건축 물체 인식을 위한 실제 데이터셋의 타당한 대안이 될 수 있음을 입증했다.
• 이 방법은 향후 건축 및 도시 환경의 시각 작업을 위한 자동화된 데이터 합성에 대한 확장 가능한 기반을 제공한다.