[논문 리뷰] Learning Structural Graph Layouts and 3D Shapes for Long Span Bridges 3D Reconstruction

Fangqiao Hu, Jin Zhao외 2명|arXiv (Cornell University)|2019. 07. 08.

3D Surveying and Cultural Heritage참고 문헌 71인용 수 5

한 줄 요약

이 논문은 드론이 촬영한 장거리 교량의 이미지에서 구조적 그래프 레이아웃과 3D 형상을 동시에 예측하는 학습 기반, 구조적 위상 인식 3D 재구성 프레임워크를 제안한다. 구조적 사전 지식과 딥러닝을 활용하여 위상적 일관성을 유지하면서도 정확하고 컴팩트한 기하 모델링을 달성하였으며, 두 개의 실제 교량에서 포인트 클라우드 및 메시 기반 방법보다 구성 요소 수 정확도와 데이터 효율성에서 뛰어난 성능을 보였다.

ABSTRACT

A learning-based 3D reconstruction method for long-span bridges is proposed in this paper. 3D reconstruction generates a 3D computer model of a real object or scene from images, it involves many stages and open problems. Existing point-based methods focus on generating 3D point clouds and their reconstructed polygonal mesh or fitting-based geometrical models in urban scenes civil structures reconstruction within Manhattan world constrains and have made great achievements. Difficulties arise when an attempt is made to transfer these systems to structures with complex topology and part relations like steel trusses and long-span bridges, this could be attributed to point clouds are often unevenly distributed with noise and suffer from occlusions and incompletion, recovering a satisfactory 3D model from these highly unstructured point clouds in a bottom-up pattern while preserving the geometrical and topological properties makes enormous challenge to existing algorithms. Considering the prior human knowledge that these structures are in conformity to regular spatial layouts in terms of components, a learning-based topology-aware 3D reconstruction method which can obtain high-level structural graph layouts and low-level 3D shapes from images is proposed in this paper. We demonstrate the feasibility of this method by testing on two real long-span steel truss cable-stayed bridges.

연구 동기 및 목표

• 노이즈가 많고 완전하지도 않으며 균일하지 않은 분포를 보이는 MVS 포인트 클라우드에서 복잡하고 위상적으로 rich한 장거리 교량을 재구성하는 데 도전하는 것.
• 기존의 포인트 기반 및 메시 기반 재구성 방법이 구조적 위상성과 구성 요소 간 관계를 유지하지 못하는 한계를 극복하는 것.
• 이미지에서 고수준의 구조적 그래프 레이아웃과 저수준의 3D 기하 형상을 동시에 예측하는 학습 프레임워크를 개발하는 것.
• 구조적 건강 모니터링 및 유한요소 모델링과 같은 후속 응용 분야에 적합한 자동화된 정확한 3D 모델링을 가능하게 하는 것.
• 드론 영상으로 촬영한 실제 케이블 스테이드 스틸 트러스 교량에서의 실현 가능성 검증

제안 방법

• 이 방법은 드론 영상에서 구조적 그래프 레이아웃(구성 요소 위상 구조를 나타냄)과 3D 형상(기하 기하 형상)을 동시에 예측하는 딥러닝 프레임워크를 사용한다.
• 정규적인 공간 레이아웃과 구성 요소 간 관계와 같은 구조적 사전 지식을 학습 과정에 통합하여 재구성에 안내한다.
• 그래프 구조와 3D 형상 매개변수를 동시에 최적화할 수 있는 미분 가능 파이프라인을 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 기하 기하 형상(예: 상자형, 실린더)을 사용하여 교량 구성 요소를 모델링하고, 미분 가능 렌더링과 손실 함수를 통해 매개변수를 최적화한다.
• 데이터 크기를 줄이기 위해 고해상도 모델을 다운샘플링하여 핵심 구조적 특징을 유지한다.
• 수동으로 제작한 3D 모델을 정답으로 사용하여 학습 및 평가를 위한 지도 학습을 활용한다.

실험 결과

연구 질문

• RQ1 학습 기반 방법이 드론 영상에서 장거리 교량에 대해 구조적 그래프 레이아웃과 3D 형상을 동시에 예측할 수 있는가?
• RQ2 기존의 포인트 클라우드 또는 메시 기반 방법과 비교해 복잡한 교량 구조의 위상적 및 기하적 성질을 얼마나 잘 유지할 수 있는가?
• RQ3 구조적 사전 지식을 통합할 경우 재구성 정확도와 데이터 효율성이 얼마나 향상되는가?
• RQ4 이 방법이 구조적 요소 모델링과 같은 엔지니어링 응용 분야에 적합한 컴팩트하고 의미 있는 모델을 생성할 수 있는가?
• RQ5 노이즈가 많고 완전하지 않은 MVS 포인트 클라우드를 가진 실제 교량에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 브리지 1에서 0.06237, 브리지 2에서 0.02001의 Chamfer 거리 성능을 달성하여 포isson 표면 재구성 및 데라운이 삼각분할 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 브리지 1에서는 1,488개의 구성 요소를 재구성하였고, 브리지 2에서는 914개를 재구성하였으며, 각각 정답값인 1,430개와 914개에 매우 가까운 결과를 도출하였다.
• 브리지 1의 데이터 크기는 66,812로, 원본 포인트 클라우드 및 메시의 11M+와 29M+보다 훨씬 작았다.
• RANSAC 및 학습 기반 방법이 실패한 노이즈가 많은 MVS 포인트 클라우드에 대해서도 기하 기하 형상(예: 상자형, 실린더)을 성공적으로 피팅하였다.
• 드론 영상의 노이즈와 가림 현상에도 불구하고 수동 조작 없이도 구조적으로 일관된 모델을 생성하는 데에 성공하였다.
• 학습된 3D 모델이 시각적 점검, VR/AR 시각화, 유한요소 모델링과 같은 후속 작업에 적합함을 입증하였다.