[논문 리뷰] Deep Learning from Parametrically Generated Virtual Buildings for Real-World Object Recognition

Mohammad Alawadhi, Wei Yan|arXiv (Cornell University)|2023. 01. 03.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

이 논문은 BIMGenE 프레임워크를 사용하여 현실적으로 렌더링된, 매개변수화된 가상의 건물 모델에서 유일하게 딥 뉴럴 네트워크를 훈련시키는 방법을 제안한다. 이 방법은 실제 건물 사진에서 강력한 일반화 능력과 정확한 의미 분할을 달성하며, 훈련 데이터에 포함되지 않은 새로운 구조의 경우에도 효과를 보이며, 실제 건축 AI 과제에 대한 합성 데이터의 실현 가능성을 입증한다.

ABSTRACT

We study the use of parametric building information modeling (BIM) to automatically generate training data for artificial neural networks (ANNs) to recognize building objects in photos. Teaching artificial intelligence (AI) machines to detect building objects in images is the foundation toward AI-assisted semantic 3D reconstruction of existing buildings. However, there exists the challenge of acquiring training data which is typically human-annotated, that is, unless a computer machine can generate high-quality data to train itself for a certain task. In that vein, we trained ANNs solely on realistic computer-generated images of 3D BIM models which were parametrically and automatically generated using the BIMGenE program. The ANN training result demonstrated generalizability and good semantic segmentation on a test case as well as arbitrary photos of buildings that are outside the range of the training data, which is significant for the future of training AI with generated data for solving real-world architectural problems.

연구 동기 및 목표

• 실세계 이미지에서 건물 객체 인식을 위한 애너테이션된 훈련 데이터 부족 문제를 해결하기 위해.
• 합성된, 매개변수화된 3D 건물 모델이 실세계 응용 프로그램을 위한 딥 뉴럴 네트워크를 효과적으로 훈련시킬 수 있는지 탐색하기 위해.
• 훈련 중에 볼 수 없었던 다양한 실세계 건물 사진에 대해, 유일하게 합성 데이터로 훈련된 모델의 일반화 능력을 평가하기 위해.
• 건축 및 건설 분야의 AI를 위한 고품질 훈련 데이터를 생성하기 위한 확장 가능하고 자동화된 파이프라인을 수립하기 위해.

제안 방법

• 기하학, 재질, 레이아웃의 제어된 변형을 가진 다양한 매개변수화된 3D 건물 모델을 자동으로 생성하기 위해 BIMGenE 도구를 활용하였다.
• 광학적으로 현실적인 렌더링 기법을 사용하여 3D BIM 모델에서 현실적인 RGB 이미지와 해당하는 의미 분할 마스크를 렌더링하였다.
• 표준 의미 분할 손실 함수를 사용하여 합성 데이터셋에서 컨volutional 네트워크(CNN)를 훈련시켰다.
• 매개변수화된 생성된 훈련 분포의 다양성을 통해 데이터 증강 및 도메인 적응 전략을 암묵적으로 적용하였다.
• 훈련 중에 볼 수 없었던 실제 건물 사진에 대해 훈련된 모델을 평가하였으며, 훈련 분포를 벗어난 구조물도 포함되었다.

실험 결과

연구 질문

• RQ1 유일하게 합성된, 매개변수화된 가상의 건물에서 훈련된 딥 뉴럴 네트워크가 실세계 이미지에서 정확한 객체 인식을 달성할 수 있는가?
• RQ2 훈련 데이터와 스타일, 구조, 외관이 다른 실세계 건물 사진에 대해 모델의 일반화 능력은 얼마나 뛰어난가?
• RQ3 매개변수화된 BIM 생성이 건축 시각 과제에서 AI 훈련을 위한 인간 애너테이션된 실세계 데이터셋에 대한 의존도를 어느 정도 대체하거나 줄일 수 있는가?
• RQ4 합성 데이터의 다양성과 현실성은 실세계 시나리오에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• 훈련 데이터에 포함되지 않은 구조물에 대해서도 실제 건물 사진에서 강력한 의미 분할 성능을 달성하여 높은 일반화 능력을 보였다.
• 매개변수화된 가상 건물의 사용 덕분에 인간 레이블 없이도 대규모, 다양한, 완전히 애너테이션된 훈련 데이터셋을 생성할 수 있었다.
• 모델은 건물 스타일, 조명, 시점의 변형에 대해 강건성을 보이며, 합성 데이터로부터 효과적인 도메인 일반화가 이루어졌음을 시사했다.
• 결과적으로, 매개변수화된 BIM 모델에서 유도된 고해상도 합성 데이터가 건축 컴퓨터 비전 분야의 AI 훈련을 위한 실세계 애너테이션 데이터의 실질적인 대안이 될 수 있음을 입증하였다.