[논문 리뷰] Floor-SP: Inverse CAD for Floorplans by Sequential Room-wise Shortest Path

Jiacheng Chen, Chen Wang외 2명|arXiv (Cornell University)|2019. 08. 19.

3D Surveying and Cultural Heritage참고 문헌 20인용 수 6

한 줄 요약

Floor-SP는 RGBD 스캔에서 바닥면 재구성을 위한 새로운 역 CAD 접근법을 제안한다. 이는 단일 실내 공간 단위로 순차적인 좌표 강내 최적화를 정식화하여 최단 경로 문제를 해결함으로써 다각형 실내 루프를 정밀하게 개선한다. 527개의 실제 아파트에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 이전 방법들보다 뛰어나며, 특히 맨하탄 기하학이 아닌 구조나 가림 구조에서 두각을 나타낸다. 이는 취약한 모서리/모서리 검출에 의존하지 않고, 딥 러닝으로 안내되는 데이터 항목을 통한 일관성과 모델 복잡도 최적화를 통해 달성된다.

ABSTRACT

This paper proposes a new approach for automated floorplan reconstruction from RGBD scans, a major milestone in indoor mapping research. The approach, dubbed Floor-SP, formulates a novel optimization problem, where room-wise coordinate descent sequentially solves dynamic programming to optimize the floorplan graph structure. The objective function consists of data terms guided by deep neural networks, consistency terms encouraging adjacent rooms to share corners and walls, and the model complexity term. The approach does not require corner/edge detection with thresholds, unlike most other methods. We have evaluated our system on production-quality RGBD scans of 527 apartments or houses, including many units with non-Manhattan structures. Qualitative and quantitative evaluations demonstrate a significant performance boost over the current state-of-the-art. Please refer to our project website http://jcchen.me/floor-sp/ for code and data.

연구 동기 및 목표

• RGBD 스캔에서 알려지지 않은, 다양한 구조를 가진 바닥면도 재구성하는 문제에 대응하기 위해, 특히 맨하탄 기하학이 아닌 환경이나 가림이 있는 환경에서의 재구성에 초점을 맞춘다.
• 기초적인 형태 탐지(예: 모서리 누락 → 벽 누락)에 의존하는 하향식 접근법의 실패 원인을 해결하기 위해, 루프 기반의 최적화 기반 접근법으로 전환한다.
• 실내 공간 단위의 다각형 루프에 대한 에너지 최소화 문제로 바닥면도 재구성 문제를 정식화함으로써, 구조적 정확도와 강인성을 향상시킨다.
• 맨하탄 기하학에 제한되지 않고 대규모, 실용적 수준의 데이터셋에서도 고품질 재구성을 가능하게 한다.

제안 방법

• 방 경계를 식별하기 위해 인스턴스 세분화(마스크 R-CNN 사용)를 수행하여 바닥면 추론 문제를 다각형 루프 재구성 문제로 단순화한다.
• 세 가지 구성 요소를 가진 전역 최적화 문제를 정의한다: 딥 뉴럴 네트워크로 안내되는 데이터 항목, 인접한 방 간 공유 모서리/벽을 장려하는 일관성 항목, 과도한 모서리를 방지하는 모델 복잡도 항목.
• 실내 공간 단위의 좌표 강내 최적화 전략을 사용하여, 각 방에 대해 최단 경로 문제를 순차적으로 해결함으로써 모서리 위치와 연결을 정밀하게 개선하면서 이웃 방과의 일관성을 유지한다.
• 명시적인 기초 형태 탐지 없이도 모서리 위치와 루프 구조를 직접 최적화함으로써, 노이즈가 많거나 누락된 저수준 탐지에 대해 강인한 성능을 발휘한다.
• 후처리 히우리스틱을 통해 개별 방의 그래프를 하나의 2차원 바닥면도 그래프로 통합한다.
• 시스템은 정렬된 RGBD 풍경도의 정상 투영을 처리하며, 전체 3차원 기하학을 기각하고 2차원 바닥면도의 구조에 집중한다.

실험 결과

연구 질문

• RQ1 RGBD 스캔에서 복잡한 바닥면도를 재구성할 때, 하향식 기반의 형태 탐지 방식보다 순차적 실내 공간 단위 최적화 전략이 더 우수한 성능을 낼 수 있는가?
• RQ2 다각형 루프에 기반한 최단 경로 기반 최적화가 기존 방법과 비교해 가림 구조나 비맨하탄 기하학에 대해 얼마나 더 강인한가?
• RQ3 딥 러닝으로 안내되는 데이터 항목과 일관성 제약 조건을 통해, 모서리/모서리 탐지에 의존하지 않고도 재구성 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 이 방법은 맨하탄 기하학이 아닌 다양한 건축적 구조를 가진 대규모 실세계 데이터셋에서도 높은 성능을 달성할 수 있는가?
• RQ5 개별 실내 공간에 대한 좌표 강내 최적화가 반복적인 정밀 조정 과정에서 구조적 오류를 얼마나 효과적으로 수정하는가?

주요 결과

• Floor-SP는 기존 SOTA 방법인 FloorNet보다 비맨하탄 및 가림 구조에서 뚜렷한 성능 향상을 보이며, FloorNet의 모서리 탐지 실패로 인한 문제를 효과적으로 해결한다.
• 데이터 항목과 일관성 항목의 추가로 실내 단위 지표가 향상되었으며, 실내 공간 단위의 좌표 강내 최적화 전략이 추가로 성능 향상을 이끌었다.
• 94개 테스트 세트에서 Floor-SP는 실내 단위 지표에서 FloorNet보다 높은 정밀도와 재현율을 확보했으며, 모서리 누락 또는 모호한 경우의 처리에서 뚜렷한 개선을 보였다.
• 낮은 Room++ 지표(예: 정밀도/재현율 0)가 적용된 경우에도 Floor-SP의 재구성 결과는 시각적으로 타당하고 구조적으로 일관되며, 세분화 및 탐지 오류에 대해 강인함을 시사한다.
• FloorNet이 기초 형태 누락으로 실패하는 비맨하탄 환경에서도 Floor-SP는 어려운 모서리와 벽 구조를 성공적으로 복원한다.
• 시각화 및 정량적 결과를 통해 순차적 최적화 과정이 반복 라운드 동안 오류를 수정하고 에너지가 감소하며 구조가 향상됨을 확인했다.