[論文レビュー] Omnidirectional CNN for Visual Place Recognition and Navigation

Tsun-Hsuan Wang, Hung-Jui Huang+4 more|arXiv (Cornell University)|Mar 12, 2018

Robotics and Sensor-Based Localization参考文献 29被引用数 13

ひとこと要約

本論文では、オムニディレクショナルカメラを用いた屋内環境における視覚的場所認識およびナビゲーションのための、全方位的畳み込みニューラルネットワーク（O-CNN）を提案する。円形パディング、回転不変性を実現するためのロールブランチ、連続的リフトド構造的特徴埋め込み損失を組み合わせることで、最も近い場所の例示（exemplar）までの相対的距離を推定する。このアプローチにより、ヒューリスティックナビゲーション方策を実現し、仮想および現実世界のデータセットの両方で最先端の精度と推論速度を達成した。

ABSTRACT

$ $Visual place recognition is challenging, especially when only a few place exemplars are given. To mitigate the challenge, we consider place recognition method using omnidirectional cameras and propose a novel Omnidirectional Convolutional Neural Network (O-CNN) to handle severe camera pose variation. Given a visual input, the task of the O-CNN is not to retrieve the matched place exemplar, but to retrieve the closest place exemplar and estimate the relative distance between the input and the closest place. With the ability to estimate relative distance, a heuristic policy is proposed to navigate a robot to the retrieved closest place. Note that the network is designed to take advantage of the omnidirectional view by incorporating circular padding and rotation invariance. To train a powerful O-CNN, we build a virtual world for training on a large scale. We also propose a continuous lifted structured feature embedding loss to learn the concept of distance efficiently. Finally, our experimental results confirm that our method achieves state-of-the-art accuracy and speed with both the virtual world and real-world datasets.

研究の動機と目的

• 利用可能な場所の例示が僅かである屋内環境における視覚的場所認識およびナビゲーションを解決すること。
• 現実世界のロボットナビゲーションで一般的に見られる大規模なカメラポーズの変化に対して、より頑健な性能を発揮すること。
• 視覚的入力と場所の例示との間の相対的距離を推定する深層学習モデルを構築し、効果的なナビゲーションを実現すること。
• ラベルフリーのスケーラブルな仮想世界を構築し、視覚的場所認識モデルの学習と評価に用いること。

提案手法

• O-CNNは、境界のないオムニディレクショナル画像のトポロジー的性質を扱うために、入力空間および特徴空間の両方で円形パディングを採用する。
• 回転不変性を達成するために、回転された特徴マップを処理し、予測を統合するロールブランチ機構を導入する。
• 相対的距離情報を特徴空間に埋め込むために、連続的リフトド構造的特徴埋め込み損失を提案する。これにより、距離推定が可能になる。
• 大規模な合成屋内仮想世界でエンドツーエンドに学習することで、効率的で安全かつスケーラブルな学習を実現する。
• ヒューリスティックナビゲーション方策は、推定された相対的距離を用いて、ロボットを最も近い場所の例示へ誘導する。
• システムは仮想および現実世界のデータセットの両方で評価され、仮想環境から現実環境への転移学習が実施された。

実験結果

リサーチクエスチョン

• RQ1 大変動するカメラポーズ下でも、深層学習モデルが視覚的入力と場所の例示との間の相対的距離を効果的に推定できるか？
• RQ2 円形パディングと回転不変性を組み込むことで、オムニディレクショナル視覚的場所認識の性能がどの程度向上するか？
• RQ3 連続的リフトド構造的特徴埋め込みが、視覚的場所認識における距離に敏感な表現学習をどの程度向上させるか？
• RQ4 合成された仮想世界で事前学習したモデルが、現実世界の屋内ナビゲーションタスクに効果的に一般化できるか？
• RQ5 例示が少ない状況下でも、提案されたO-CNNは最先端の手法と比較して、精度、速度、頑健性の面で優れているか？

主な発見

• 仮想世界では、O-CNNは全エラー許容範囲で平均リcallが69.7%を達成し、NetVLAD（62.0%）、Disloc（43.8%）、PoseNet（2.7%）を上回った。
• 仮想世界では、O-CNNの推論時間は1クエリあたり128.21 msであり、Dislocの2439.02 msに比べて顕著に高速であった。
• 現実世界のデータセットでは、O-CNNはエラー許容範囲で平均リcallが77.1%を達成し、Dislocの65.4%を上回った。
• リcall-距離評価では、2メートル以内の距離でO-CNNが優れた性能を維持し、平均リcallが57.2%であったのに対し、Dislocは51.5%であった。
• アブレーションスタディにより、円形パディング、ロールブランチ、連続的リフトド埋め込みの各要素が性能向上に顕著に寄与していることが確認され、O-CNN CLCRが最良の結果を達成した。
• 局所ナビゲーションでは、O-CNNは平均22.01ステップで84%の成功率を達成し、NetVLADの68%の成功率と36.14ステップを上回った。