[論文レビュー] On the Performance of ConvNet Features for Place Recognition

Niko Sünderhauf, Feras Dayoub+3 more|arXiv (Cornell University)|Jan 17, 2015

Robotics and Sensor-Based Localization参考文献 28被引用数 133

ひとこと要約

本稿では、最先端のネットワークからの階層的特徴を活用し、局所性に敏感なハッシュ化（LSH）と意味的検索空間分割を最適化することで、実時間かつ大規模なConvNetベースの場所認識システムを初めて提示する。最大100倍の高速化を達成しながらも、精度を5%しか損なわない。これは、外観の変化が著しい状況下でも、シーン分類のために事前学習されたネットワークが、物体認識のための事前学習モデルを上回ることを示している。

ABSTRACT

After the incredible success of deep learning in the computer vision domain, there has been much interest in applying Convolutional Network (ConvNet) features in robotic fields such as visual navigation and SLAM. Unfortunately, there are fundamental differences and challenges involved. Computer vision datasets are very different in character to robotic camera data, real-time performance is essential, and performance priorities can be different. This paper comprehensively evaluates and compares the utility of three state-of-the-art ConvNets on the problems of particular relevance to navigation for robots; viewpoint-invariance and condition-invariance, and for the first time enables real-time place recognition performance using ConvNets with large maps by integrating a variety of existing (locality-sensitive hashing) and novel (semantic search space partitioning) optimization techniques. We present extensive experiments on four real world datasets cultivated to evaluate each of the specific challenges in place recognition. The results demonstrate that speed-ups of two orders of magnitude can be achieved with minimal accuracy degradation, enabling real-time performance. We confirm that networks trained for semantic place categorization also perform better at (specific) place recognition when faced with severe appearance changes and provide a reference for which networks and layers are optimal for different aspects of the place recognition problem.

研究の動機と目的

• ロボットアプリケーションにおける、ConvNet特徴を用いた実時間かつ大規模な視覚的場所認識を可能にすること。
• 外観および視点の変化が著しい状況下で、異なるConvNet層およびアーキテクチャの性能を評価すること。
• 実世界への導入に適した、顕著な精度の低下を伴わずに計算効率を最適化すること。
• シーン分類のための事前学習が、物体認識のための事前学習よりも、場所認識タスクで優れているかどうかを調査すること。

提案手法

• AlexNet、Places205、Hybridの3つの最先端ConvNetsから階層的特徴を抽出し、複数の層からの特徴を統合することで、耐障害性を高める。
• 局所性に敏感なハッシュ化（LSH）を適用し、特徴ベクトルを128ビットのハミングコードに圧縮することで、データサイズを99.6％削減し、高速な類似度検索を可能にする。
• 事前学習済み分類器を用いて、意味的クラス（例：「建物」、「木」）ごとに特徴をインデックス化することで、意味的検索空間分割を実装し、検索空間を最大76％まで縮小する。
• ハッシュ化された特徴におけるハミング距離を用いたコサイン距離の近似を実装し、近隣探索の高速化を図るとともに、高い精度を維持する。
• 照明、天候、視点の変化が著しい4つの実世界データセット（Campus、Gardens Point、Nordland、St. Lucia）を用いた、マルチデータセット評価プロトコルを採用する。
• 外観および視点の変化に対する耐性を明確に分離するために、制御された条件下で異なるネットワークアーキテクチャおよび特徴層の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ConvNet特徴を用いて、最小限の精度損失で実時間かつ大規模な場所認識を実現できるか？
• RQ2 ConvNetの異なる層（低レベル、中レベル、高レベル）は、外観および視点の変化に対してどのように耐性を示すか？
• RQ3 シーン分類タスクで事前学習されたネットワークが、物体認識のための事前学習と比較して、場所認識性能を向上させるか？
• RQ4 検索空間分割とハッシュ化技術を用いることで、認識精度の低下を伴わず、計算コストをどの程度まで低減できるか？

主な発見

• LSHベースのハッシュ化により、最大2桁の高速化（100倍）を達成し、特徴を99.6％圧縮しながらも、元の認識性能の95％を維持した。
• 高レベルのConvNet層（例：conv3）からの特徴は意味情報を含んでおり、これにより検索空間の分割が有効に機能し、近隣探索時間に最大76％の短縮が達成された。
• シーン分類のための事前学習がなされたネットワーク（Places205およびHybrid）は、物体認識のための事前学習がなされたAlexNetよりも、外観変化の挑戦に対して優れており、Nordlandの春対冬のFスコアは0.71を記録したのに対し、AlexNetは0.68であった。
• 中レベル特徴（例：conv3）は、時間帯、天候、季節の変化といった外観の変化に対して優れた耐性を示したが、トップ層特徴は視点の変化に対してより耐性があった。
• 意味的検索空間分割とLSHハッシュ化の組み合わせにより、100,000件の既知の場所に対して3Hzの実時間性能が達成された。
• 認識性能と実行時間の間にトレードオフがある：意味的閾値を低くすると候補マッチ数と精度が増加するが、計算時間も増加する。