[논문 리뷰] Trained Trajectory based Automated Parking System using Visual SLAM on Surround View Cameras

Nivedita Tripathi, Senthil Yogamani|arXiv (Cornell University)|2020. 01. 07.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 6

한 줄 요약

이 논문은 주로 거주지나 사무실 주차장과 같은 자주 가는 장소에서 차량이 자율적으로 재정렬하고 주차할 수 있도록 하는 시각 SLAM을 활용한 훈련된 궤적 자동 주차 시스템을 제시한다. 시스템은 훈련 단계 동안 지속적인 맵핑을 위한 VSLAM 파이프라인을 활용하고 재생 단계에서 강력한 재정렬 기능을 제공하여 다양한 조명, 날씨 및 구조적 조건에서도 평균 92.5%의 재정렬 성공률을 달성한다.

ABSTRACT

Automated Parking is becoming a standard feature in modern vehicles. Existing parking systems build a local map to be able to plan for maneuvering towards a detected slot. Next generation parking systems have an use case where they build a persistent map of the environment where the car is frequently parked, say for example, home parking or office parking. The pre-built map helps in re-localizing the vehicle better when its trying to park the next time. This is achieved by augmenting the parking system with a Visual SLAM pipeline and the feature is called trained trajectory parking in the automotive industry. In this paper, we discuss the use cases, design and implementation of a trained trajectory automated parking system. The proposed system is deployed on commercial vehicles and the consumer application is illustrated in \url{https://youtu.be/nRWF5KhyJZU}. The focus of this paper is on the application and the details of vision algorithms are kept at high level.

연구 동기 및 목표

• GPS가 신뢰할 수 없고 사전 지도 기반 인프라가 없는 비구조적 비상업적 환경에서 차량이 주행 경로를 기반으로 자율 주차 기능을 수행할 수 있도록 하는 것.
• GPS가 불안정한 비상업적 환경에서 지속적인 정렬 기능을 달성하는 데 도전하는 문제를 해결하는 것.
• 저속 주차 환경에서 주변 시야 피셔아이 카메라에 특화된 강력한 시각 SLAM 파이프라인을 개발하는 것.
• 조명 변화, 센서 노이즈 및 스케일 드리프트 등의 실용적 구현 과제를 해결하는 것.
• 실제 데이터셋과 영상 시연을 통해 상용 차량에서 훈련된 궤적 주차의 실현 가능성을 입증하는 것.

제안 방법

• 시스템은 두 단계로 운영된다: 훈련 단계에서는 네 대의 190° 시야각 피셔아이 카메라를 사용해 차량의 궤적과 시각적 특징을 기록하고, 재생 단계에서는 저장된 맵을 기반으로 차량을 재정렬하는 방식이다.
• 두 단계 모두 시각 SLAM을 사용하여 6-DOF 차량 자세를 추정하고, 특징 기반 추적 및 글로벌 번들 조정을 통해 맵 최적화를 수행한다.
• 초기 자세 추정 및 참조 값 애너테이션을 위해 GNSS와 IMU 데이터를 융합하고, 노이즈와 이방성 값을 줄이기 위해 필터링을 수행한다.
• 주변 물체(예: 보도, 표지판, 벽 등)의 희박한 시각적 특징을 추출하고 프레임 간에 매칭하여 재정렬을 가능하게 한다.
• 롤링 셔터 효과를 보완하고, 다중 카메라 간의 거리 기반 메트릭 거리 정보를 활용하여 스케일 모호성을 해결한다.
• 클라우드 의존 없이 임베디드 자동차 하드웨어에 통합된 VSLAM 프레임워크를 구현하여 실시간 성능과 지속적인 맵핑을 보장한다.

실험 결과

연구 질문

• RQ1 GPS가 없고 사전 지도 기반 인프라가 없는 이전에 방문한 비상업적 주차 지역에서 차량이 신뢰성 있게 재정렬할 수 있는 방법은 무엇인가?
• RQ2 다양한 조도 및 구조적 변화 조건에서 저속 주차 동작을 위한 피셔아이 카메라에 시각 SLAM을 구현할 때의 주요 과제는 무엇인가?
• RQ3 특징 기반 시각 SLAM 파이프라인은 일출, 일몰 및 다양한 기상 조건에서도 일관된 재정렬 정확도를 유지하는 데 얼마나 효과적인가?
• RQ4 특히 초기화, 스케일 드리프트 및 동적 장면 변화에 대해 임베디드 자동차 시스템 내의 차량 내 시각 SLAM의 실용적 제약은 무엇인가?
• RQ5 훈련된 궤적 시스템은 최소한의 인간 간섭으로 실제 주차 환경에서 높은 재정렬 정확도를 달성할 수 있는가?

주요 결과

• 다양한 테스트 환경에서 평균 재정렬 성공률이 92.5%에 도달했으며, 이는 위치 오차 0.05m 이내, 자세 오차 2° 이내의 자세 추정으로 정의된다.
• 대규모 조도 변화 및 횡방향 오프셋 변화가 발생한 Scene6는 가장 낮은 재정렬 성공률(85.7%)을 보였으며, 환경 변화에 대한 민감도를 드러냈다.
• 복잡한 사무실 주차장과 좁은 주거용 주차장 모두에서 차량이 성공적으로 재정렬되었으며, 다양한 주차 환경에서의 강건성을 입증했다.
• 훈련 단계의 마지막 단계에서 글로벌 번들 조정이 약간의 대기 시간이 필요했으며, 맵 정확도와 실시간 사용성 사이의 상충 관계를 시사했다.
• 조도 및 기상 변화가 성능에 심각한 영향을 미쳤으며, 특히 훈련과 재생 단계에서 조건이 다를 경우 더욱 뚜렷하게 나타났다. 이는 특징의 강건성 향상의 필요성을 시사한다.
• 클라우드 인프라가 없어 차량의 임베디드 시스템에서 전체 맵핑 및 최적화를 수행해야 했으며, 이는 훈련 후 맵 완성에 소요되는 시간을 증가시켰다.