[논문 리뷰] Dynamic Objects Segmentation for Visual Localization in Urban Environments

Zhou Guo-xiang, Berta Bescos외 4명|arXiv (Cornell University)|2018. 07. 09.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 5

한 줄 요약

이 논문은 CARLA 시뮬레이터에서 생성한 합성 데이터와 실제 RGB 데이터의 조합을 사용하여 도시 환경에서 동적 객체의 실시간 인스턴스 세분화를 위한 준지도 학습 기반의 CNN 기반 방법을 제안한다. 마스크 R-CNN 백본을 사용해 엔드 투 엔드로 훈련된 모델은 Cityscapes에서 최신 기술 수준의 성능을 달성하며, 실제 데이터로 미세조정된 버전(m_real)이 합성 데이터 전용 모델보다 유의미한 성능 향상을 보여, 사전에 의미 클래스 레이블이 없이도 새로운 도시 환경에 대해 강력한 일반화 능력을 입증한다.

ABSTRACT

Visual localization and mapping is a crucial capability to address many challenges in mobile robotics. It constitutes a robust, accurate and cost-effective approach for local and global pose estimation within prior maps. Yet, in highly dynamic environments, like crowded city streets, problems arise as major parts of the image can be covered by dynamic objects. Consequently, visual odometry pipelines often diverge and the localization systems malfunction as detected features are not consistent with the precomputed 3D model. In this work, we present an approach to automatically detect dynamic object instances to improve the robustness of vision-based localization and mapping in crowded environments. By training a convolutional neural network model with a combination of synthetic and real-world data, dynamic object instance masks are learned in a semi-supervised way. The real-world data can be collected with a standard camera and requires minimal further post-processing. Our experiments show that a wide range of dynamic objects can be reliably detected using the presented method. Promising performance is demonstrated on our own and also publicly available datasets, which also shows the generalization capabilities of this approach.

연구 동기 및 목표

• 움직이는 객체로 인해 기능 추적과 지도 일致성이 손상되는 고도로 동적인 도시 환경에서 시각 기반 SLAM의 강건성을 향상시키기 위해.
• 사전 정의된 의미 클래스나 수동 애너테이션을 요구하지 않고 동적 객체 인스턴스를 검출하는 방법을 개발하기 위해.
• 표준 RGB 카메라와 최소한의 후처리만을 사용하여 실시간으로 프레임 단위로 동적 인스턴스 세분화를 수행할 수 있도록 하기 위해.
• 실제 도시 환경과 합성 데이터의 조합을 사용하여 다양한 도시 환경 간의 일반화 성능을 평가하기 위해.

제안 방법

• 합성 데이터는 CARLA 시뮬레이터에서, 실제 데이터는 RGB 비디오 스니펫에서 확보된 데이터를 조합하여 준지도 학습 방식으로 마스크 R-CNN 기반의 인스턴스 세분화 네트워크를 훈련한다.
• 모델의 백본은 합성 데이터에서 사전 훈련한 후, 두 단계로 실제 데이터로 미세조정한다: 첫 번째로 헤드만 훈련하고, 두 번째로 모든 레이어를 함께 미세조정한다.
• 실제 데이터에서 운동 일관성과 외관 변화 탐지 기반의 자기지도 학습 방식을 사용해 동적 객체 마스크를 자동으로 추출한다.
• 훈련에는 실제 데이터와 합성 데이터의 50/50 조합, 실제 데이터 전용, 합성 데이터 전용 데이터를 사용하여 일반화 성능를 비교한다.
• 최종 모델은 Cityscapes Fine 데이터셋의 진짜 마스크와의 비교를 통해 이진 마스크에 대한 F1 스코어로 평가되며, 동적 클래스는 하나의 카테고리로 통합된다.
• 비디오 데모는 도시 환경에서 실시간 추론을 보여주며, 나무, 깃발, 동물과 같은 복잡한 동적 요소를 포함한다.

실험 결과

연구 질문

• RQ1 정의된 의미 클래스에 의존하지 않고도 CNN 기반 모델이 도시 환경에서 일반적인 동적 객체 인스턴스를 검출할 수 있는가?
• RQ2 합성 데이터와 실제 데이터의 조합이 실제 도시 환경에서의 동적 인스턴스 세분화의 일반화에 어떤 영향을 미치는가?
• RQ3 순수하게 합성 데이터로 훈련한 것에 비해 실제 데이터로의 미세조정이 동적 장면 세분화 성능을 유의미하게 향상시키는가?
• RQ4 자기지도 학습 방법이 최소한의 애너테이션 노력으로도 실제 RGB 시퀀스에서 정확한 동적 객체 마스크를 추출할 수 있는가?
• RQ5 모델은 훈련 분포를 벗어난 새로운 도시와 환경 조건에 대해 얼마나 잘 일반화되는가?

주요 결과

• 실제 데이터 전용으로 훈련된 모델(m_real)은 Cityscapes 데이터셋의 모든 테스트 도시에서 가장 높은 F1 스코어를 기록했으며, 혼합 및 합성 데이터 전용 훈련 버전을 모두 앞섰다.
• 합성 데이터 전용 모델(m_synth)은 합성 데이터에서 사전 훈련했음에도 불구하고 실제 시각적 변형에 대해 일반화 능력이 떨어져 F1 성능이 유의미하게 낮게 나타났다.
• m_real 모델은 합성 데이터 전용으로 훈련된 모델가 놓친 지역 특화 동적 요소, 예를 들어 움직이는 나무, 깃발, 동물 등을 더 잘 검출하는 데에 뛰어난 능력을 보였다.
• 합성 데이터 사전 훈련과 실제 데이터로의 미세조정 조합이 혼합 데이터로 훈련하는 것보다 더 효과적인 것으로 나타나, 시뮬레이션과 현실 간 도메인 차이가 함께 사용될 경우 성능을 제한한다는 것을 시사한다.
• 자기지도 학습 기반 마스크 추출 방법은 최소한의 수동 애너테이션으로도 실제 영상에서 고품질의 동적 인스턴스 마스크를 성공적으로 생성하여 스케일러블한 데이터 수집을 가능하게 했다.
• 정성적 결과는 m_real 모델이 훈련 데이터에 존재하지 않은 다양한 기상 조건, 조명 조건, 동적 객체 유형을 포함한 다양한 도시 환경에 잘 일반화됨을 확인했다.