[論文レビュー] Place Categorization and Semantic Mapping on a Mobile Robot

Niko Sünderhauf, Feras Dayoub+7 more|arXiv (Cornell University)|Jul 9, 2015

Advanced Image and Video Retrieval Techniques被引用数 9

ひとこと要約

本論文では、事前学習済みのConvNetを用いた場所分類と、オンラインで学習可能な1対すべて分類器を組み合わせることで閉じた分類器の制限を克服する、移譲可能で拡張可能なモバイルロボット向けの意味的マッピングシステムを提示する。時間的整合性を確保するためベイジアンフィルタに統合されたこのシステムにより、環境特化型のトレーニングを必要とせず、リアルタイムでの意味的マッピングが可能となり、オブジェクト検出性能が向上するとともに、ナビゲーションタスクにおける行動の制御が可能になる。

ABSTRACT

In this paper we focus on the challenging problem of place categorization and semantic mapping on a robot without environment-specific training. Motivated by their ongoing success in various visual recognition tasks, we build our system upon a state-of-the-art convolutional network. We overcome its closed-set limitations by complementing the network with a series of one-vs-all classifiers that can learn to recognize new semantic classes online. Prior domain knowledge is incorporated by embedding the classification system into a Bayesian filter framework that also ensures temporal coherence. We evaluate the classification accuracy of the system on a robot that maps a variety of places on our campus in real-time. We show how semantic information can boost robotic object detection performance and how the semantic map can be used to modulate the robot's behaviour during navigation tasks. The system is made available to the community as a ROS module.

研究の動機と目的

• モバイルロボットが環境特化型のトレーニングを必要とせずに場所を分類し、意味的マップを構築できるようにすること。
• 事前学習済みConvNetの閉じた分類器の制限を克服し、新たな意味的クラスのオンライン学習を可能にする。
• ベイジアンフィルタフレームワークを用いて時間的整合性を確保することで分類の頑健性を向上させること。
• 意味的情報がロボットのオブジェクト検出とナビゲーション行動にどのように寄与するかを示すこと。
• コミュニティでの展開と拡張を可能にする再利用可能でオープンソースのROSモジュールを提供すること。

提案手法

• Caffeを介して提供される事前学習済みのPlaces205 ConvNetを活用し、RGB画像からシーンカテゴリの確率を抽出する。
• 新しい意味的クラスを検出できる軽量な1対すべて分類器を、オンラインで学習することでConvNetを補完する。
• 二重分類システムをベイジアンフィルタに統合し、時間的整合性を確保し、誤った予測を是正する。
• SLAMによって得られるグリッドマップを用いて、視覚的意味的ラベルとレーザースキャンデータ、ロボットのポーズ推定値を統合し、3次元意味的マップ（OctoMapベース）を構築する。
• 意味的マップにクラス固有のコスト値を割り当て、文脈に応じたパスプランニング行動の制御（例：勤務時間中のオフィスエリアを避ける）を可能にする。
• 画像分類と意味的マップ統合のためのノードを含む、完全なシステムをROSモジュールとして公開する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みConvNetにオンライン学習可能な分類器を組み合わせることで、ロボティクスにおける生涯にわたる場所分類が有効に実現可能か？
• RQ2 ベイジアンフィルタによる時間的整合性の統合が、動的環境下における意味的分類の頑健性をどの程度向上させるか？
• RQ3 意味的場所情報が、ロボットのオブジェクト検出システムの性能をどの程度向上させるか？
• RQ4 環境の文脈に基づいて、意味的マップを用いてロボットのナビゲーション行動を動的に制御できるか？
• RQ5 環境特化型の再トレーニングなしに、移譲可能で拡張可能な意味的マッピングシステムを実世界環境に展開可能か？

主な発見

• 意味的事前知識を深層学習の予測と統合した結果、オブジェクト検出においてトップ1正答率54%、トップ5正答率100%を達成した。
• 意味的場所情報により、現在のシーンカテゴリから導出された事前確率で分類器を条件づけることで、オブジェクト検出における誤検出が減少した。
• ベイジアンフィルタフレームワークにより分類の一貫性が著しく向上し、連続するフレーム間での誤ったラベル変更が減少した。
• 意味的マップにより文脈に応じたナビゲーションが可能となった：勤務時間中はオフィスエリアを避ける一方で、夜間には最短経路を経由した。
• 本システムは、環境特化型の微調整なしに、多様な屋内・屋外キャンパス環境においてモバイルロボット上でリアルタイムに正常に稼働した。
• 意味的マッピングと分類ノードを含む完全なROSモジュールがリリースされ、コミュニティでの利用が可能となった。