[논문 리뷰] Scan2Plan: Efficient Floorplan Generation from 3D Scans of Indoor Scenes

Ameya Phalak, Vijay Badrinarayanan외 1명|arXiv (Cornell University)|2020. 03. 16.

3D Surveying and Cultural Heritage참고 문헌 39인용 수 13

한 줄 요약

Scan2Plan는 실내 환경의 3D 스캔에서 정확하고 효율적인 평면도를 생성하기 위한 이단계 딥러닝 방법을 제안한다. 합성 3D 포인트 클라우드에서 PointNet++ 기반의 투표 네트워크를 사용해 방과 벽을 군집화한 후, 关键점에 대한 최단경로 알고리즘을 통해 폐쇄된 둘레를 계산한다. 순수하게 합성 데이터로 훈련함에도 불구하고 Structured3D 및 BKE 데이터셋에서 최신 기술 수준의 정확도와 속도를 달성한다.

ABSTRACT

We introduce Scan2Plan, a novel approach for accurate estimation of a floorplan from a 3D scan of the structural elements of indoor environments. The proposed method incorporates a two-stage approach where the initial stage clusters an unordered point cloud representation of the scene into room instances and wall instances using a deep neural network based voting approach. The subsequent stage estimates a closed perimeter, parameterized by a simple polygon, for each individual room by finding the shortest path along the predicted room and wall keypoints. The final floorplan is simply an assembly of all such room perimeters in the global co-ordinate system. The Scan2Plan pipeline produces accurate floorplans for complex layouts, is highly parallelizable and extremely efficient compared to existing methods. The voting module is trained only on synthetic data and evaluated on publicly available Structured3D and BKE datasets to demonstrate excellent qualitative and quantitative results outperforming state-of-the-art techniques.

연구 동기 및 목표

• 실내 환경의 3D 스캔에서 효율적이고 정확한 평면도 생성 방법을 개발하기 위해.
• 실제로 촬영된 3D 평면도 데이터셋의 부족을 해결하기 위해 완전히 절차적으로 생성된 합성 데이터셋으로 훈련함으로써.
• 방의 수, 형태, 구성에 제약 없이 평면도 추정을 가능하게 하기 위해.
• 전역 문제를 국소적이고 독립적인 작업들로 분해함으로써 고도로 병렬 처리 및 계산 효율성을 달성하기 위해.
• 훈련 시 맨하탄 스타일의 합성 데이터만 사용했음에도 불구하고 비맨하탄 및 복잡한 레이아웃에 대해 강건한 일반화 성능을 입증하기 위해.

제안 방법

• 비순서화된 3D 포인트 클라우드에서 방과 벽의 군집 레이블을 예측하기 위해 PointNet++ 기반의 백본과 투표 메커니즘을 사용한다.
• 합성 데이터 생성 중 무작위 회전을 적용하여 축에 수직이 아닌 레이아웃으로의 일반화 성능을 향상시킨다.
• 방과 벽의 관건점(keypoints)을 사용해 그래프 표현에서 최단경로 알고리즘을 통해 각 방의 폐쇄된 둘레를 계산한다.
• 둘레는 단순 다각형으로 매개변수화되고 원래 좌표계에서 전역 평면도로 조립된다.
• 낮은 포인트 수를 가진 벽을 제거하는 벽 컬링 단계를 통해 노이즈를 줄이고 둘레 품질을 향상시키며, 후처리 과정을 통해 겹치지 않는 방 다각형을 보장한다.
• 파이프라인은 완전히 엔드 투 엔드로 훈련 가능하며 고도로 병렬 처리가 가능하여 복잡한 시나리오에서 실시간 추론을 지원한다.

실험 결과

연구 질문

• RQ1 합성 데이터로만 훈련된 평면도 생성 모델이 실제 세계의 복잡한 실내 레이아웃으로 일반화될 수 있는가?
• RQ2 확장 가능한 규모에서 평면도 추정을 정확하고 계산 효율적으로 수행할 수 있는 방법은 무엇인가?
• RQ3 클러스터링 후 절차적 둘레 맞춤화를 수행하는 이단계 접근 방식이 전역 최적화 방법을 얼마나 뛰어넘을 수 있는가?
• RQ4 맨하탄 스타일의 데이터로만 훈련했음에도 불구하고 비맨하탄 레이아웃과 곡선 벽을 어떻게 처리할 수 있는가?
• RQ5 무작위 회전과 같은 데이터 증강 기법이 모델의 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• Scan2Plan는 Structured3D 및 BKE 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 방법보다 정확도와 엔드 투 엔드 추론 속도 면에서 뛰어난 성능을 보였다.
• BKE-struct 데이터셋에서 Scan2Plan는 정밀도가 FloorSP를 초월하여 더 정확한 방과 모서리 원소를 추출했지만, 선택적 방 생성으로 인해 재현율은 낮았다.
• 무작위 회전을 통한 데이터 증강 덕분에 훈련 중에 볼 수 없었던 비맨하탄 레이아웃과 복잡한 구성에도 성공적으로 일반화되었다.
• 실패 사례로는 클러스터링 오류와 벽 컬링으로 인한 소형 방 누락, 세그먼트 융합으로 인한 곡선 벽 표현의 정확도 저하가 있었다.
• 입력 포인트의 누락 또는 노이즈에 대해 강건성을 보였지만, 극단적인 가림 또는 데이터 손실(예: 필터링으로 인한 손실)은 비압축 평면도를 유도할 수 있었다.
• 파이프라인은 고도로 병렬 처리가 가능하여 다수의 방과 벽을 포함한 복잡한 시나리오의 효율적 처리를 가능하게 했다.