[논문 리뷰] Place Categorization and Semantic Mapping on a Mobile Robot

Niko Sünderhauf, Feras Dayoub외 7명|arXiv (Cornell University)|2015. 07. 09.

Advanced Image and Video Retrieval Techniques인용 수 9

한 줄 요약

이 논문은 사전 훈련된 ConvNet을 사용해 장소 분류를 수행하고, 온라인으로 훈련 가능한 one-vs-all 분류기를 추가하여 닫힌 집합 제한을 극복하는 이식 가능하고 확장 가능한 모바일 로봇을 위한 의미적 맵핑 시스템을 제안한다. 시간적 일관성을 확보하기 위해 베이지안 필터에 통합된 이 시스템은 환경에 특화된 훈련 없이 실시간 의미 맵핑을 가능하게 하며, 객체 탐지 성능을 향상시키고 탐색 작업에서 행동 조절을 가능하게 한다.

ABSTRACT

In this paper we focus on the challenging problem of place categorization and semantic mapping on a robot without environment-specific training. Motivated by their ongoing success in various visual recognition tasks, we build our system upon a state-of-the-art convolutional network. We overcome its closed-set limitations by complementing the network with a series of one-vs-all classifiers that can learn to recognize new semantic classes online. Prior domain knowledge is incorporated by embedding the classification system into a Bayesian filter framework that also ensures temporal coherence. We evaluate the classification accuracy of the system on a robot that maps a variety of places on our campus in real-time. We show how semantic information can boost robotic object detection performance and how the semantic map can be used to modulate the robot's behaviour during navigation tasks. The system is made available to the community as a ROS module.

연구 동기 및 목표

• 환경에 특화된 훈련 없이도 모바일 로봇이 장소를 분류하고 의미 맵핑을 구축할 수 있도록 한다.
• 사전 훈련된 ConvNet의 닫힌 집합 제한을 극복하기 위해 새로운 의미 클래스에 대한 온라인 학습을 가능하게 한다.
• 베이지안 필터 프레임워크를 통해 시간적 일관성을 확보하여 분류 정확도를 높인다.
• 의미 정보가 로봇의 객체 탐지 및 탐색 행동에 어떻게 기여하는지 보여준다.
• 커뮤니티 배포 및 확장이 가능한 재사용 가능한 오픈소스 ROS 모듈을 제공한다.

제안 방법

• Caffe를 통해 제공되는 사전 훈련된 Places205 ConvNet을 활용해 RGB 이미지에서 장면 카테고리 확률을 추출한다.
• 새로운 의미 클래스를 탐지하기 위해 온라인으로 훈련 가능한 경량 one-vs-all 분류기를 ConvNet에 보완한다.
• 이중 분류 시스템을 베이지안 필터에 통합하여 시간적 일관성을 확보하고 잘못된 예측을 수정한다.
• SLAM 기반의 격자 맵을 사용해 시각적 의미 레이블, 레이저 스캔 데이터 및 로봇 자세 추정치를 융합하여 3D 의미 맵(OctoMap 기반)을 구축한다.
• 의미 맵에 클래스별 비용 값을 할당하여 환경 맥락(예: 업무 시간 동안 사무실 지역 회피)에 따라 경로 계획 행동을 동적으로 조절한다.
• 이식 가능한 의미 맵핑 및 분류 노드를 포함한 전체 시스템을 ROS 모듈로 배포한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 ConvNet에 온라인 학습 가능한 분류기를 효과적으로 확장하여 로봇에서 지속적인 장소 분류를 가능하게 할 수 있는가?
• RQ2 베이지안 필터를 통한 시간적 일관성 통합이 동적인 로봇 환경에서 의미 분류의 정확도를 어떻게 향상시키는가?
• RQ3 의미적 장소 정보는 로봇의 객체 탐지 시스템 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 환경 맥락에 따라 의미 맵을 활용해 로봇의 탐색 행동을 실시간으로 조절할 수 있는가?
• RQ5 환경에 특화된 재훈련 없이도 이식 가능하고 확장 가능한 의미 맵핑 시스템을 실세계 환경에 구현할 수 있는가?

주요 결과

• 의미 사전 정보를 딥 러닝 예측과 융합했을 때, 객체 탐지 성능이 상위 1위 정확도 54% 및 상위 5위 정확도 100%를 달성했다.
• 의미적 장소 정보는 현재 장면 카테고리에서 유도된 사전 확률을 분류기의 조건으로 삼아 객체 탐지의 오진률을 감소시켰다.
• 베이지안 필터 프레임워크는 분류 일관성을 크게 향상시켜 연속 프레임 간 잘못된 레이블 전환을 줄였다.
• 의미 맵은 맥락 인식 탐색을 가능하게 했으며, 업무 시간 동안 사무실 지역을 회피하면서 야간에는 가장 짧은 경로를 선택하는 데 성공했다.
• 시스템은 환경에 특화된 미세조정 없이 다양한 실내 및 실외 캠퍼스 환경에서 실시간으로 성공적으로 구동되었다.
• 의미 맵핑 및 분류 노드를 포함한 전체 ROS 모듈이 배포되었으며, 커뮤니티 사용을 위해 공개되었다.