[論文レビュー] Single-View Place Recognition under Seasonal Changes

Daniel Olid, José M. Fácil+1 more|arXiv (Cornell University)|Aug 20, 2018

Robotics and Sensor-Based Localization参考文献 17被引用数 64

ひとこと要約

この論文はCNNベースの記述子を訓練して、天候に依存しない単一視点の場所認識を実現し、事前学習済み・シアム・トリプレットネットワークを比較し、季節頑健性を評価する Nordland データセット分割を提案します。トリプレット学習をファインチューニングしたモデルは Nordlige で最先端の結果を達成し、冬季と夏季の認識が強力です。

ABSTRACT

Single-view place recognition, that we can define as finding an image that corresponds to the same place as a given query image, is a key capability for autonomous navigation and mapping. Although there has been a considerable amount of research in the topic, the high degree of image variability (with viewpoint, illumination or occlusions for example) makes it a research challenge. One of the particular challenges, that we address in this work, is weather variation. Seasonal changes can produce drastic appearance changes, that classic low-level features do not model properly. Our contributions in this paper are twofold. First we pre-process and propose a partition for the Nordland dataset, frequently used for place recognition research without consensus on the partitions. And second, we evaluate several neural network architectures such as pre-trained, siamese and triplet for this problem. Our best results outperform the state of the art of the field. A video showing our results can be found in https://youtu.be/VrlxsYZoHDM. The partitioned version of the Nordland dataset at http://webdiis.unizar.es/~jmfacil/pr-nordland/.

研究の動機と目的

• 自動運転や地図作成のため、激しい季節外観変化の下での頑健な場所認識を動機づける。
• 手法間で公正な比較を可能にする標準化された Nordland データセット分割を提案する。
• 天候に不変な記述子を対象に、事前学習済み、シアム、トリプレットなど複数のニューラルネットワークアーキテクチャを評価する。
• 既存手法と比較した性能を評価し、季節変動への頑健性を定量化する。

提案手法

• Euclidean distance を類似度指標として用い、CNNを用いて画像記述子を抽出する。
• 事前学習済みのVGG-16（ImagenetおよびPlaces）層の特徴を評価して有効な表現を特定する。
• 同値/異なる場所のペアに対して対照損失を使用し、128次元の全結合層を追加してシアムネットを訓練する。
• 128次元層を追加し Wohlhart-Lepetit 損失を使用してトリプレットネットを訓練する。スクラッチから学習する場合と、事前学習済みの VGG-16-Places 基盤をファインチューニングする場合を比較する。
• 効率と性能のため記述子サイズを128に設定する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの記述子は場所認識において深刻な季節的外観変化に対して頑健ですか？
• RQ2 事前学習済み、シアム、およびトリプレットのアーキテクチャは、天候に不変な場所認識に対してどう比較されますか？
• RQ3 Placesで訓練されたVGG-16ベースをファインチューニングすることで季節変化下の認識は改善しますか？
• RQ4 記述子の次元数が認識精度と計算コストに与える影響は何ですか？

主な発見

input season	summer	fall	winter	spring
summer	—	0.8548	0.8591	0.9545
fall	0.9777	—	0.8583	0.9562
winter	0.8597	0.9771	—	0.9545
spring	0.9336	0.94	0.8388	—

• 最高の結果は、VGG-16-Placesを出発点としファインチューニングしたトリプレットネットと、128次元の記述子で達成されます。
• 良好な条件下では、Nordlandの80kmルートで場所の98%が正しく認識される。一方、季節変化が激しい場合は86%正解。
• シアムネット経由の128次元記述子は、コンパクトでありながら競争力のある表現を提供します。
• このタスクのためにファインチューニング後、Placesで訓練したVGG-16の特徴はImagenetで訓練したバリアントを上回ります。
• 提案された Nordland 分割は手法間の公正な比較を可能にし、Nordlandデータセットで最先端の性能を達成します。