[논문 리뷰] Real-time CPU-based large-scale 3D mesh reconstruction

Enrico Piazza, Andrea Romanoni외 1명|arXiv (Cornell University)|2018. 01. 16.

Robotics and Sensor-Based Localization참고 문헌 30인용 수 5

한 줄 요약

이 논문은 SLAM에서 유입되는 움직이는 점들을 동적으로 업데이트하면서 실시간으로 단일 CPU에서 작동하는 최초의 인크리멘탈 만만폭형 메시 재구성 알고리즘을 제안한다. 기존 최첨단 기법 대비 10배 빠른 성능 향상을 이룩하면서도 정확도는 유사한 수준을 유지하며, 최적화된 레이 트레이싱과 새로운 수축 히우리스틱을 통해 동적 업데이트 상황에서도 메시의 만만폭형 성질을 유지한다.

ABSTRACT

In Robotics, especially in this era of autonomous driving, mapping is one key ability of a robot to be able to navigate through an environment, localize on it and analyze its traversability. To allow for real-time execution on constrained hardware, the map usually estimated by feature-based or semi-dense SLAM algorithms is a sparse point cloud; a richer and more complete representation of the environment is desirable. Existing dense mapping algorithms require extensive use of GPU computing and they hardly scale to large environments; incremental algorithms from sparse points still represent an effective solution when light computational effort is needed and big sequences have to be processed in real-time. In this paper we improved and extended the state of the art incremental manifold mesh algorithm proposed in [1] and extended in [2]. While these algorithms do not achieve real-time and they embed points from SLAM or Structure from Motion only when their position is fixed, in this paper we propose the first incremental algorithm able to reconstruct a manifold mesh in real-time through single core CPU processing which is also able to modify the mesh according to 3D points updates from the underlying SLAM algorithm. We tested our algorithm against two state of the art incremental mesh mapping systems on the KITTI dataset, and we showed that, while accuracy is comparable, our approach is able to reach real-time performances thanks to an order of magnitude speed-up.

연구 동기 및 목표

• 로봇 응용 분야를 위한 제약 조건이 있는 단일 CPU 하드웨어에서 실시간으로 대규모 3D 메시 재구성을 가능하게 하기 위해.
• 기존의 인크리멘탈 만만폭형 메시 알고리즘에서 만만폭형 강제 조건을 위한 비용이 많이 드는 단계로 인해 실시간으로 실행되지 못하는 계산 병목 현상을 해결하기 위해.
• 메시 품질을 훼손하거나 근사 히우리스틱을 도입하지 않고도 SLAM 시스템으로부터의 동적 점 업데이트를 지원하기 위해.
• 대규모 실외 시퀀스, 예를 들어 KITTI 데이터셋에 포함된 시퀀스에서 높은 정확도와 실시간 성능을 확보하기 위해.
• 자율 주행 차량 및 저비용 로봇 응용 분야에서 실시간 밀도 맵핑을 위한 확장 가능한 오픈소스 솔루션을 제공하기 위해.

제안 방법

• 알고리즘은 SLAM에서 유입되는 3D 점들의 델로아 트리아ング룰레이션을 인크리멘탈 방식으로 유지하며, 새로운 점이 도착함에 따라 메시를 동적으로 업데이트한다.
• 만만폭형 강제 조건 중 과도한 수축을 방지하기 위해 새로운 수축 히우리스틱을 도입하여 재구성 정확도를 향상시킨다.
• 메시 업데이트 중의 가시성 검사와 중복 계산을 줄이기 위해 캐시 및 해싱 기반의 레이 트레이싱 전략을 활용한다.
• 점의 위치가 변경되더라도 다시 레이를 추적하고 가시성 정보를 조정함으로써 동적 점 업데이트를 지원한다. 이는 점이 초기 삽입 이후에도 가능하다는 것을 의미한다.
• 테트라하드론 메시 구조와 봉화 집합을 활용하여 국소적 메시 수정 및 제너스 변화를 효율적으로 관리한다.
• ORB-SLAM 및 구조 복원(SfM) 파이프라인과 통합되며, 점군을 입력으로 받아 만만폭형 메시 출력을 생성한다.

실험 결과

연구 질문

• RQ1 단일 CPU 코어에서 GPU 가속을 사용하지 않고도 실시간으로 인크리멘탈 만만폭형 메시 재구성을 달성할 수 있는가?
• RQ2 점의 위치가 시간이 지남에 따라 변화하는 SLAM의 동적 업데이트 상황에서 메시의 만만폭형 성질을 어떻게 유지할 수 있는가?
• RQ3 실시간 성능 확보를 위해 레이 트레이싱 및 테트라하드론 업데이트의 계산 오버헤드를 줄이기 위해 어떤 최적화가 필요한가?
• RQ4 움직이는 점 업데이트가 정적 점 처리 대비 재구성 정확도와 런타임에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 기존 최첨단 기법과 유사하거나 더 높은 정확도를 확보하면서도 10배 빠른 속도로 실행될 수 있는가?

주요 결과

• 제안된 알고리즘은 KITTI 데이터셋에서 실시간 성능을 달성하여, 00, 01, 02, 05 시퀀스를 단일 CPU 코어에서 인터랙티브 프레임 레이트로 처리한다.
• 시퀀스 00의 경우 평균 절대 오차(MAE)는 0.91m, 01은 0.72m, 02는 0.62m, 05는 1.14m이며, 움직이는 점을 고려하지 않은 경우 [1]과 [2]보다 정확도가 뛰어나다.
• 움직이는 점 처리를 적용한 경우, MAE는 1.05m(시퀀스 00), 1.14m(시퀀스 01), 0.74m(시퀀스 02), 1.21m(시퀀스 05)로 약간 증가할 뿐이며, 동적 업데이트 상황에서도 정확도 저하가 최소한으로 유지됨을 보여준다.
• 기존 최첨단 기법 대비 런타임을 한 단계 감소시켜 10배 빠른 성능 향상을 이룩하였으며, 메시의 만만폭형 성질도 유지한다.
• 시퀀스 02에서는 업데이트 중 최대 12,334개의 테트라하드론이 수축되며, 상당한 메시 정밀도 향상이 이루어졌지만, 최적화된 해싱과 캐시 덕분에 성능이 안정적으로 유지된다.
• 시퀀스 00에서는 전체 점의 9%가 움직이는 점으로 처리되었으며, 움직이는 점이 있는 경우와 없는 경우의 런타임이 유사하여, 계산 오버헤드가 극히 미미함을 보여준다.