[논문 리뷰] S-Graphs+: Real-time Localization and Mapping leveraging Hierarchical Representations

Hriday Bavle, José Luis Sánchez-López외 3명|arXiv (Cornell University)|2022. 12. 22.

3D Surveying and Cultural Heritage인용 수 10

한 줄 요약

S-Graphs+는 키프레임, 벽 평면, 실내 공간, 바닥 측면을 통합하여 실시간으로 작동하는 네 단계 계층적 인과 그래프를 도입함으로써 로봇 자세 추정과 3D 환경 이해를 동시에 최적화한다. LiDAR 데이터를 기반으로 한 새로운 실시간 실내 공간 및 바닥 측정 알고리즘을 활용하여, 두 번째로 우수한 방법에 비해 평균 정확도를 10.67% 향상시켰으며, 이는 국소화 정밀도 향상과 환경 상황 인식 능력 향상에 기여한다.

ABSTRACT

In this paper, we present an evolved version of Situational Graphs, which jointly models in a single optimizable factor graph (1) a pose graph, as a set of robot keyframes comprising associated measurements and robot poses, and (2) a 3D scene graph, as a high-level representation of the environment that encodes its different geometric elements with semantic attributes and the relational information between them. Specifically, our S-Graphs+ is a novel four-layered factor graph that includes: (1) a keyframes layer with robot pose estimates, (2) a walls layer representing wall surfaces, (3) a rooms layer encompassing sets of wall planes, and (4) a floors layer gathering the rooms within a given floor level. The above graph is optimized in real-time to obtain a robust and accurate estimate of the robots pose and its map, simultaneously constructing and leveraging high-level information of the environment. To extract this high-level information, we present novel room and floor segmentation algorithms utilizing the mapped wall planes and free-space clusters. We tested S-Graphs+ on multiple datasets, including simulated and real data of indoor environments from varying construction sites, and on a real public dataset of several indoor office areas. On average over our datasets, S-Graphs+ outperforms the accuracy of the second-best method by a margin of 10.67%, while extending the robot situational awareness by a richer scene model. Moreover, we make the software available as a docker file.

연구 동기 및 목표

• 로봇 국소화와 고수준 환경 이해를 동시에 최적화하는 밀착형 실시간 인과 그래프를 개발한다.
• 이전 SLAM 시스템의 한계를 극복하기 위해 기하학적 표현과 의미적 표현을 하나의 최적화 가능한 그래프에 통합한다.
• 자유공간 클러스터와 벽 평면 데이터를 활용하여 실내 공간 및 바닥 측정 정확도를 향상시켜 히ュ리스틱 기반 의존도를 감소시킨다.
• 계층적 환경 모델링을 통해 복잡한 실내 환경(예: 건설 현장, 사무실 건물)에서도 견고한 성능을 확보한다.
• Docker 지원을 포함한 오픈소스 소프트웨어를 공개하여 연구의 광범위한 채택과 재현 가능성을 높인다.

제안 방법

• 시스템은 키프레임, 벽 평면, 실내 공간, 바닥 측면으로 구성된 네 단계 계층적 인과 그래프를 사용하며, 각 요소는 기하학적 및 의미적 제약 조건으로 연결된다.
• 자신만의 프론트엔드는 자유공간 클러스터와 검출된 벽 평면을 조합하여 실시간으로 실내 공간을 분할함으로써 재현율을 향상시키고 히ュ리스틱 의존도를 감소시킨다.
• 모든 현재 매핑된 벽 평면을 이용해 바닥 중심을 추정함으로써 바닥 측면 일관성을 확보한다.
• 백엔드는 로봇 자세, 벽 평면 파라미터, 실내 공간 경계, 바닥 할당을 동시에 정밀하게 최적화하는 실시간 최적화 프레임워크를 활용한다.
• 시스템은 LiDAR 측정치를 활용하며, 기하학적 제약 조건과 의미적 속성(예: 실내 공간, 바닥 측면)을 하나의 인과 그래프에 통합한다.
• 실내 공간 경계를 구성하는 벽 평면에 밀착된 '실내 공간-벽 평면' 인과 요소를 신규로 도입하여 구조적 일관성과 최적화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 계층적 다층 인과 그래프는 의미적 환경 이해를 통합함으로써 실시간 SLAM 정확도를 향상시킬 수 있는가?
• RQ2 실내 공간 및 바닥 측정의 통합은 복잡한 실내 환경에서 자세 추정 및 지도 일관성에 어떻게 기여하는가?
• RQ3 현재 최고 수준의 SLAM 시스템에 비해 제안된 방법은 궤적 정확도 및 내구성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 다중 실내 공간을 포함한 대규모 복잡한 환경(예: 건설 현장, 다층 건물)에서도 실시간 성능을 유지를 할 수 있는가?
• RQ5 자유공간 클러스터와 벽 평면을 활용할 경우, 히ュ리스틱 기반 접근법에 비해 실내 공간 탐지 재현율은 얼마나 향상되는가?

주요 결과

• S-Graphs+는 다양한 시뮬레이션 및 실제 환경 데이터셋에서 두 번째로 뛰어난 방법에 비해 평균 10.67%의 국소화 정확도 향상을 달성한다.
• TIERS 데이터셋에서 S-Graphs+는 FLOAM 오도메트리와 비교해 ATE를 43.2% 감소시키며, 두 번째로 뛰어난 기준보다 14.59% 향상된 성능을 보였다.
• 어려운 T11 시퀀스에서 S-Graphs+는 FLOAM 정확도를 165.8% 향상시켜 맨하탄 환경이 아닌 환경에서도 뛰어난 성능을 입증했다.
• 복잡한 레이아웃(예: C2F1)에서 S-Graphs+는 이전 버전 대비 실내 공간 탐지 재현율이 크게 향상되었으며, 이는 지도 정확도 향상에 직접 기여했다.
• 모든 모듈(평면, 실내 공간, 바닥, 백엔드 처리)은 17분 분량의 시퀀스에서도 실시간 성능 유지를 보였으며, 평균 백엔드 계산 시간은 174ms 이하였다.
• 시스템은 RGB 또는 의미적 탐지 모델에 의존하지 않고도 오직 LiDAR 데이터만으로 실시간으로 실내 공간과 바닥을 정확히 분할하는 데 성공했다.