[論文レビュー] Deep Learning Features at Scale for Visual Place Recognition

Zetao Chen, Adam Jacobson+6 more|arXiv (Cornell University)|Jan 18, 2017

Robotics and Sensor-Based Localization参考文献 23被引用数 31

ひとこと要約

本論文は、視覚的場所認識のためのスケールアップされた深層畳み込みニューラルネットワーク（CNN）の学習を、新しい大規模データセットであるSpecific PlacEs Dataset（SPED）を用いて提案する。この手法により、視点や環境条件に依存しない特徴を学習する。場所認識を分類タスクとして定式化し、マルチスケール特徴符号化を採用することで、ベンチマークデータセット上で既存のアルゴリズムおよび事前学習済みCNNと比較して平均10%の性能向上を達成した。

ABSTRACT

The success of deep learning techniques in the computer vision domain has triggered a range of initial investigations into their utility for visual place recognition, all using generic features from networks that were trained for other types of recognition tasks. In this paper, we train, at large scale, two CNN architectures for the specific place recognition task and employ a multi-scale feature encoding method to generate condition- and viewpoint-invariant features. To enable this training to occur, we have developed a massive Specific PlacEs Dataset (SPED) with hundreds of examples of place appearance change at thousands of different places, as opposed to the semantic place type datasets currently available. This new dataset enables us to set up a training regime that interprets place recognition as a classification problem. We comprehensively evaluate our trained networks on several challenging benchmark place recognition datasets and demonstrate that they achieve an average 10% increase in performance over other place recognition algorithms and pre-trained CNNs. By analyzing the network responses and their differences from pre-trained networks, we provide insights into what a network learns when training for place recognition, and what these results signify for future research in this area.

研究の動機と目的

• 異なる条件や視点での場所の外観変化を捉えた大規模で現実世界のデータセットが不足しているという問題に対処すること。
• 汎用的な事前学習済み特徴にとどまらない、視覚的場所認識に特化した深層学習フレームワークの開発。
• 新しい環境に富んだデータセットを用いて、場所認識を分類問題として扱い、CNNを特定の目的に合わせて学習すること。
• 視点や環境変化に対して不変なマルチスケール特徴を生成し、現実世界の状況でも耐性を高めること。
• 視覚的場所認識のために訓練された深層特徴が何を学んでいるかを解明し、今後の研究を導く知見を提供すること。

提案手法

• 著者らは、照明、天候、視点の変化を伴い、1地点あたり数百度の画像を含むSpecific PlacEs Dataset（SPED）を構築した。これにより、合計数千の異なる場所がカバーされた。
• GoogLeNetおよびVGG-16の2つのCNNアーキテクチャをSPED上で微調整し、場所認識を分類タスクとしてエンドツーエンドで学習した。
• 視点や環境変化に対して強い特徴抽出を実現するために、マルチスケール特徴符号化戦略を適用した。
• ImageNetで事前学習されたモデルに依存せず、大規模データを用いて場所固有の表現を学ぶ学習戦略を採用した。
• ネットワークの出力応答を分析し、場所認識のための学習で得られた内部表現の理解を深めた。

実験結果

リサーチクエスチョン

• RQ1 汎用的な事前学習済み特徴と比較して、環境に富んだ大規模データセット上でCNNを学習させることで、視覚的場所認識の性能が向上するか？
• RQ2 マルチスケール特徴符号化と大規模な学習は、視点や環境変化に対する不変性をどのように向上させるか？
• RQ3 視覚的場所認識に特化して訓練されたCNNが学ぶ特徴はどのようなものか？また、一般分類タスクで学習された特徴とはどのように異なるか？
• RQ4 提案手法は、標準的なベンチマークデータセット上で、既存のアルゴリズムおよび事前学習済みCNNをどの程度上回るか？

主な発見

• 提案手法は、複数のベンチマークデータセット上で、他の場所認識アルゴリズムおよび事前学習済みCNNと比較して平均10%の性能向上を達成した。
• SPED上で学習させた結果、標準的な事前学習済みネットワークの特徴と比較して、視点や環境変化に対してはるかに不変性が高まった。
• マルチスケール特徴符号化戦略は、空間的およびスケールの変化を効果的に捉え、さまざまな視認条件での耐性を高めた。
• ネットワーク活性化の分析から、訓練されたネットワークがテクスチャやオブジェクトレベルの手がかりではなく、場所の構造的およびレイアウト的特徴に注目していることが明らかになった。