[논문 리뷰] Learning to Construct 3D Building Wireframes from 3D Line Clouds

Yicheng Luo, Jing Ren외 5명|arXiv (Cornell University)|2022. 08. 25.

Remote Sensing and LiDAR Applications인용 수 7

한 줄 요약

이 논문은 3D 선 클라우드에서 3D 건물 웜프레임을 재구성하기 위한 최초의 학습 기반 방법을 제안한다. 두 층의 라인-패치 트랜스포머를 사용하여 인접한 선 세그먼트로부터 접합점과 연결성을 예측한다. 이는 새로 제작된 3.6K개의 건물와 진짜 웜프레임을 포함하는 합성 데이터셋에서 여러 기준선보다 우수한 정확도와 효율성을 달성한다.

ABSTRACT

Line clouds, though under-investigated in the previous work, potentially encode more compact structural information of buildings than point clouds extracted from multi-view images. In this work, we propose the first network to process line clouds for building wireframe abstraction. The network takes a line cloud as input , i.e., a nonstructural and unordered set of 3D line segments extracted from multi-view images, and outputs a 3D wireframe of the underlying building, which consists of a sparse set of 3D junctions connected by line segments. We observe that a line patch, i.e., a group of neighboring line segments, encodes sufficient contour information to predict the existence and even the 3D position of a potential junction, as well as the likelihood of connectivity between two query junctions. We therefore introduce a two-layer Line-Patch Transformer to extract junctions and connectivities from sampled line patches to form a 3D building wireframe model. We also introduce a synthetic dataset of multi-view images with ground-truth 3D wireframe. We extensively justify that our reconstructed 3D wireframe models significantly improve upon multiple baseline building reconstruction methods. The code and data can be found at https://github.com/Luo1Cheng/LC2WF.

연구 동기 및 목표

• 점 클라우드보다 더 컴act하고 구조적으로 정보가 풍부한 선 클라우드에서 3D 건물 웜프레임 재구성에 대한 학습 기반 방법의 부족을 해결하기 위해.
• RANSAC이나 영역 성장과 같은 이산적 연산에 의존하는 기존 방법의 한계를 극복하기 위해, 이는 엔드 투 엔드 학습 프레임워크와 호환되지 않는다.
• 무작위로 정렬된, 노이즈가 있는 선 클라우드에서 직접 3D 웜프레임 접합점과 연결성을 예측하는 데이터 기반 접근법을 개발하기 위해.
• 학습 및 평가를 위한 학습 기반 웜프레임 재구성에 활용할 수 있도록, 다중 시야 이미지와 진짜 3D 웜프레임을 포함한 대규모 합성 데이터셋을 구축하기 위해.
• 라인 패치—인접한 선 세그먼트의 그룹—이 정확한 웜프레임 추상화를 위해 충분한 윤곽 정보를 인코딩할 수 있는가를 입증하기 위해.

제안 방법

• 입력으로는 다중 시야 이미지에서 추출된 순서가 없는 3D 선 클라우드를 사용하며, 이는 건물의 모서리와 가장자리를 나타낸다.
• 지역 윤곽 구조를 캡처하기 위해, 인접한 선 세그먼트의 그룹으로 정의된 국소 라인 패치를 샘플링한다.
• 이러한 패치에서 3D 접합점과 접합점 쌍 간의 연결 가능성 확률을 동시에 예측하기 위해 이중층 라인-패치 트랜스포머를 도입한다.
• 첫 번째 트랜스포머 레이어는 라인 패치에서 후보 접합점과 그 3D 위치를 예측하고, 두 번째 레이어는 쿼리 접합점 간의 연결성을 예측한다.
• 모델은 3.6K개의 건물로 구성된 합성 데이터셋에서 엔드 투 엔드로 훈련되며, 이는 다중 시야 이미지와 진짜 3D 웜프레임이 짝지어져 있다.
• 최종 웜프레임은 예측을 병합하고, 위상 일관성을 확보하기 위해 후처리를 적용하여 구성된다.

실험 결과

연구 질문

• RQ1 지역적인 인접한 3D 선 세그먼트 그룹인 라인 패치가 3D 접합점과 연결성을 예측하는 데 충분한 구조적 정보를 포함할 수 있는가?
• RQ2 이산적 기하 연산에 의존하지 않고, 무작위로 정렬된 노이즈가 있는 선 클라우드에서 트랜스포머 기반 아키텍처가 3D 웜프레임 재구성을 효과적으로 학습할 수 있는가?
• RQ3 기존 방법과 비교할 때, 선 클라우드에서 학습 기반 웜프레임 재구성의 정확도, 효율성, 노이즈에 대한 강건성은 어떠한가?
• RQ4 진짜 웜프레임이 포함된 합성 데이터셋이 실제 세계 시나리오로의 효과적인 훈련과 일반화를 가능하게 할 수 있는 정도는 어느 정도인가?
• RQ5 노이즈가 많고 완전하지 않은 선 클라우드에도 불구하고, 미세조정 없이도 이 방법이 실제 세계 데이터로 일반화될 수 있는가?

주요 결과

• 제안된 LC2WF 방법은 정량적 지표와 시각적 품질 면에서 모든 기준선을 능가하는 최고의 정확도를 달성한다.
• 합성 데이터셋에서 LC2WF는 웜프레임 편집 거리가 0.088로, 다음으로 우수한 방법인 PC2WF(0.152)보다 유의미하게 낮아 편집이 필요한 작업 수가 적음을 나타낸다.
• LC2WF는 진짜 접합점까지의 평균 L2 거리가 0.048m로, 외관상 유사한 형태를 보이는 PolyFit(0.121m)보다 훨씬 낮다.
• LC2WF는 매우 효율적이며, 평균 0.9초 내에 3D 웜프레임을 추론한다. 이는 정수 선형 프로그래밍을 사용하는 PolyFit의 45.6초보다 빠르다.
• 이 방법은 실제 세계 데이터로 잘 일반화되며, 미세조정 없이 노이즈가 많은 스캔에서도 합리적인 웜프레임을 생성한다. 두 개의 실제 스캔에 대한 정성적 결과에서 이를 확인할 수 있다.
• 라인-패치 트랜스포머는 지역 윤곽 구조를 효과적으로 포착하여, 흐리고 노이즈가 많은 선 클라우드에서도 정확한 접합점과 연결성 예측을 가능하게 한다.