[논문 리뷰] Visual SLAM-based Localization and Navigation for Service Robots: The Pepper Case

Cristopher Gómez, Matías Mattamala외 2명|arXiv (Cornell University)|2018. 11. 20.

Robotics and Sensor-Based Localization참고 문헌 15인용 수 6

한 줄 요약

이 논문은 페퍼 로봇을 위한 시각 SLAM 기반의 국소화 및 주행 시스템을 제안하며, ORB-SLAM과 휠 온도메트리의 융합을 통해 짧은 범위의 라이다 및 RGB-D 센서의 한계에도 불구하고 대규모 환경에서 메트릭 국소화를 가능하게 한다. 시스템은 실내 대규모 홀과 같은 실제 환경에서도 안정적이고 지속적인 국소화 및 주행을 달성하며, 온도메트리 융합을 통한 메트릭 스케일 복구와 추적 안정성 향상을 통해 지도가 잘 구축된 경우에 최소한의 드리프트로 중규모 및 대규모 환경에서의 실현 가능성을 입증한다.

ABSTRACT

We propose a Visual-SLAM based localization and navigation system for service robots. Our system is built on top of the ORB-SLAM monocular system but extended by the inclusion of wheel odometry in the estimation procedures. As a case study, the proposed system is validated using the Pepper robot, whose short-range LIDARs and RGB-D camera do not allow the robot to self-localize in large environments. The localization system is tested in navigation tasks using Pepper in two different environments: a medium-size laboratory, and a large-size hall.

연구 동기 및 목표

• 짧은 범위의 라이다와 RGB-D 카메라로 인해 페퍼 로봇이 대규모 환경에서 자율 국소화가 불가능한 문제를 해결하기 위해.
• 기존의 페퍼 센서만을 사용하여 대규모 실내 환경에서 메트릭 국소화 및 지속적인 주행을 가능하게 하기 위해.
• 단일 카메라 시각 SLAM의 스케일 모호성을 휠 온도메트리와 ORB-SLAM을 융합하여 메트릭 일관성을 확보하기 위해.
• 실제 환경에서 시험하여 중규모 실험실과 대규모 홀에서 현실적인 조건 하에 시스템의 성능을 검증하기 위해.

제안 방법

• 오픈소스 ORB-SLAM 단일 카메라 SLAM 시스템을 확장하여 온도메트리 측정값을 최적화 프레임워크에 통합한다.
• 요소 그래프 공식화를 사용하여 카메라 자세, 3차원 지형점, 온도메트리 상태를 동시에 최적화하며, 예측된 관측값과 측정된 관측값 간 오차를 최소화한다.
• 비선형 최소 제곱 최적화(Eq. 1)를 적용하여 재투영 오차와 온도메트리 오차를 최소화하는 상태 벡터를 추정한다.
• 초기 카메라 프레임와 온도메트리 프레임 간의 이동 거리를 기반으로 한 스케일 복구 메커니즘을 적용하며, 고정된 수의 关键 프레임을 사용해 스케일 인자를 추정한다.
• 앞마당 RGB 카메라(640×480)와 NAOqi 미들웨어에서 내부적으로 계산된 온도메트리를 사용하며, 외부 센서에 의존하지 않는다.
• 하이브리드 국소화 전략을 구현: 기능 추적 시 시각 SLAM을 사용하고, 시각 추적에 실패할 경우 온도메트리 전용으로 전환하여 지속적인 자세 추정을 보장한다.

실험 결과

연구 질문

• RQ1 휠 온도메트리 융합을 통한 단일 시각 SLAM 시스템이 페퍼 로봇이 내장 센서로는 실패하는 대규모 실내 환경에서 신뢰할 수 있는 메트릭 국소화를 가능하게 할 수 있는가?
• RQ2 휠 온도메트리와 ORB-SLAM의 융합이 시각 추적 실패 및 스케일 모호성에 대해 얼마나 더 강건한가?
• RQ3 실제 대규모 환경(예: 홀, 실험실)에서 시스템의 국소화 정확도와 주행 성공률은 어떠한가?
• RQ4 환경 변화(예: 조도 변화, 이동하는 가구 등)가 시스템의 강건성과 드리프트 누적에 어떤 영향을 미치는가?
• RQ5 페퍼 카메라의 좁은 시야각이 자세 추정 정확도와 맵 품질에 어떤 영향을 미치는가?

주요 결과

• 시스템은 메카트로닉스 실험실과 대규모 남쪽 홀에서 페퍼 로봇의 자율 주행을 성공적으로 구현하여 실제 대규모 환경에서의 실현 가능성을 입증했다.
• 메카트로닉스 실험실에서 275~350초 사이에 최대 1.5미터의 국소화 드리프트가 관측되었으며, 이는 맵핑 중 시야각 다양성이 부족한 데 기인했다.
• 남쪽 홀에서는 Z축 국소화 추정에 최대 1.2미터의 큰 불연속성이 발생하여 지도의 지형점 가시성이 낮고 삼각측량 불확실성이 높아 주행이 불가능해졌다.
• 지도가 올바르게 구축된 경우, 가구 재배치와 같은 환경 변화에 대해 시스템은 최소한의 드리프트로 강건성을 보였다.
• 변동하는 조명과 운동 왜곡 상황에서 시각 추적 품질 저하가 발생했지만, 고정 노출 설정이 이 문제를 완화시켰다.
• 반사성 표 superficies는 가짜 지형점을 유도했고, 먼 지형점은 최적화 과정에서 삼각측량 불확실성으로 인해 자세 추정의 노이즈를 증가시켰다.