[논문 리뷰] S3LAM: Structured Scene SLAM

Mathieu Gonzalez, Éric Marchand외 2명|arXiv (Cornell University)|2021. 09. 15.

Robotics and Sensor-Based Localization참고 문헌 39인용 수 5

한 줄 요약

S3LAM은 ORB-SLAM2를 개선하기 위해 RGB 이미지에서 의미 클러스터를 형성하기 위해 패노프틱 세그멘테이션을 통합한 단안 SLAM 시스템을 제안한다. 이후 번들 조정 과정에서 평면 및 이차 곡면 제약 조건과 같은 기하학적 사전 지식을 적용하여 카메라 자세 추정 및 환경 이해를 향상시킨다. 이 방법은 TUM 및 KITTI 데이터셋에서 최신 기술 수준의 정확도를 달성하며, ORB-SLAM2 대비 절대 궤적 오차(Absolute Trajectory Error, ATE)를 최대 15% 감소시킨다.

ABSTRACT

We propose a new SLAM system that uses the semantic segmentation of objects and structures in the scene. Semantic information is relevant as it contains high level information which may make SLAM more accurate and robust. Our contribution is twofold: i) A new SLAM system based on ORB-SLAM2 that creates a semantic map made of clusters of points corresponding to objects instances and structures in the scene. ii) A modification of the classical Bundle Adjustment formulation to constrain each cluster using geometrical priors, which improves both camera localization and reconstruction and enables a better understanding of the scene. We evaluate our approach on sequences from several public datasets and show that it improves camera pose estimation with respect to state of the art.

연구 동기 및 목표

• 객체 및 구조 인스턴스를 활용하여 보다 강력하고 정확한 카메라 위치 추정을 위한 의미 기반 SLAM 시스템을 개발하는 것.
• 3D 포인트의 의미 레이블이 부여된 클러스터로 환경를 표현하여 SLAM의 강성과 해석 가능성 향상.
• 번들 조정 과정에 기하학적 사전 지식(예: 평면, 이차 곡면)을 통합하여 카메라 자세와 지ap 구조를 정밀하게 보정하는 것.
• 실내 및 대규모 실외 환경을 포함한 다양한 공개 데이터셋에서의 평가를 통해 일반화 능력과 성능 향상을 입증하는 것.

제안 방법

• 시스템은 RGB 이미지의 2D 패노프틱 세그멘테이션을 위해 detectron2를 사용하여 영역에 의미 및 인스턴스 레이블을 할당한다.
• ORB-SLAM2의 关键 프레임 특징에서 3D 포인트를 삼각측량하고, 의미 클래스와 인스턴스 기반으로 클러스터링하여 의미 클러스터를 형성한다.
• RANSAC를 사용하여 클러스터에서 평면 구조를 탐지하고 평면에 피팅하며, 비평면 물체에는 이차 곡면 제약 조건을 적용한다.
• 번들 조정 공식을 수정하여 기하학적 사전 지식을 통합: 평면 법선 및 이차 곡면 파라미터를 카메라 자세와 3D 포인트와 함께 최적화한다.
• 의미 및 기하학적 사전 지식을 최적화에 통합하여 재투영 오차와 환경 일관성을 향상시킨다.
• 물체 수준과 구조 수준의 제약 조건을 모두 지원하여 물리적으로 타당하고 의미적으로 유의미한 지도를 생성한다.

실험 결과

연구 질문

• RQ1 RGB 이미지의 의미 세그멘테이션을 ORB-SLAM2에 효과적으로 융합하여 카메라 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 기하학적 사전 지식(예: 평면 또는 이차 곡면 제약 조건)은 복잡한 실내 및 실외 환경에서 SLAM의 정확도와 강성에 어떤 영향을 미치는가?
• RQ3 의미 클러스터와 구조적 사전 지식을 통합한 통합 최적화 프레임워크가 기존 ORB-SLAM2에 비해 궤적 정확도 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ4 이 방법은 대규모 실외 환경을 포함한 다양한 환경에서 얼마나 잘 일반화되는가?

주요 결과

• TUM 시퀀스 전반에 걸쳐 S3LAM은 ORB-SLAM2 대비 평균 4.7%의 절대 궤적 오차(Absolute Trajectory Error, ATE) 감소를 기록했으며, 평균 ATE는 12.2 mm로, ORB-SLAM2의 13.9 mm보다 우수하다.
• KITTI raw 데이터셋에서 S3LAM은 평균 ATE 34.2 cm를 기록하여 ORB-SLAM2의 40.4 cm 대비 15.3% 향상된 성능을 보였다.
• fr1_desk 시퀀스에서 S3LAM은 ATE 13.2 mm를 기록하여 ORB-SLAM2(13.9 mm)와 이전의 평면 또는 이차 곡면을 사용한 방법들을 모두 초월했다.
• 이 방법은 거의 완벽한 평면 일관성을 달성했다: 병합된 책 클러스터의 경우 법선 간 각도는 0.0°로, 높은 구조적 일관성을 나타낸다.
• fr3_nost_text_near 시퀀스에서 S3LAM은 ATE를 ORB-SLAM2의 20.3 mm에서 15.3 mm로 감소시켜, 복잡하고 혼잡한 환경에서도 효과적임을 입증했다.
• 평면 제약 조건의 사용은 지도 품질을 크게 향상시켰다. 비교 분석에서 S3LAM 지도에서는 바닥이 더 평탄하고 일관성 있게 표현되었다.