[論文レビュー] Unsupervised Place Discovery for Visual Place Classification

Fei Xiaoxiao, Kanji Tanaka+1 more|arXiv (Cornell University)|Dec 21, 2016

Geographic Information Systems Studies被引用数 3

ひとこと要約

本稿では、ロボットマッピングにおける視覚的場所分類のための場所クラスを発見するために、深層畳み込みニューラルネットワーク（DCNN）を用いて、時間、場所、時間-外観、場所-外観の手がかりに基づく教師なしワークスペース分割戦略を提案する。事前学習済みDCNN特徴量とクラスタリングを活用することで、場所-外観および時間-外観戦略が、NCLTデータセットで最高の精度（トップ1正解率39.4％）を達成し、事前にラベルを付与せずに視覚的および空間的に類似した領域を効果的にグループ化できた。

ABSTRACT

In this study, we explore the use of deep convolutional neural networks (DCNNs) in visual place classification for robotic mapping and localization. An open question is how to partition the robot's workspace into places to maximize the performance (e.g., accuracy, precision, recall) of potential DCNN classifiers. This is a chicken and egg problem: If we had a well-trained DCNN classifier, it is rather easy to partition the robot's workspace into places, but the training of a DCNN classifier requires a set of pre-defined place classes. In this study, we address this problem and present several strategies for unsupervised discovery of place classes ("time cue," "location cue," "time-appearance cue," and "location-appearance cue"). We also evaluate the efficacy of the proposed methods using the publicly available University of Michigan North Campus Long-Term (NCLT) Dataset.

研究の動機と目的

• DCNNの学習には事前に定義された場所クラスが必要であるが、クラスの定義には訓練済み分類器が必要であるという、『ニワトリとたまご』の問題を解決する。
• 利用可能な手がかり（時間、場所、事前学習済みDCNNからの外観）を用いて、ロボットのワークスペースを意味のある場所領域に分割する教師なし戦略を検討する。
• 人為的ラベルなしで最適な場所クラス境界を発見することで、DCNNベースの視覚的場所分類の性能を向上させる。
• 実世界の条件下で、公開済みのミシガン大学NCLTデータセットを用いて、異なる手がかりの組み合わせの有効性を評価する。

提案手法

• ImageNetで事前学習済みのAlexNetを特徴抽出器として用い、NCLTデータセットで視覚的場所分類のための微調整を行う。
• DCNNの第6全結合層から4,096次元の特徴量を抽出し、画像表現としてクラスタリングに用いる。
• 画像特徴量に対してk-meansクラスタリングを適用して初期クラスタを形成し、その後、時間または場所の手がかりを用いてクラスタを精緻化して場所クラスを定義する。
• 時間（時間）または空間（場所）の手がかりとDCNNからの外観特徴量を組み合わせ、ハイブリッド戦略（時間-外観および場所-外観）を構築する。
• 有効なテスト画像を定義するために、真値の視点データ（GPS、IMU）を用い、時間的・空間的閾値（20°の方位、18mの距離）を設定する。
• 転移学習を用いてDCNNを訓練および評価し、最終のソフトマックス層を発見された場所クラスタ数に一致させる。

実験結果

リサーチクエスチョン

• RQ1 時間、場所、外観の手がかりによって誘導される教師なしクラスタリングが、視覚的場所分類のための意味のある場所クラスにロボットのワークスペースを効果的に分割できるか？
• RQ2 事前学習済みDCNNからの外観特徴量と時間または場所の手がかりを組み合わせることで、下流のDCNN分類器の性能がどのように向上するか？
• RQ3 実世界の長期的データセットにおける視覚的場所分類において、時間、場所、外観のどの組み合わせが最も高い正解率を達成するか？
• RQ4 事前学習済みDCNN特徴量の使用が、場所分類タスクにおける手動ラベルの必要性をどの程度低減できるか？
• RQ5 提案戦略は、ロボットの速度の変動、環境条件の変化、トレーニングデータとテストデータの間の視点の違いに対してどの程度頑健か？

主な発見

• 時間-外観手がかり戦略が、NCLTデータセットで最高のトップ1正規化スコア（1.664％）とトップ5正解率（41.0％）を達成し、他のすべての戦略を上回った。
• 場所-外観戦略はトップ1正解率39.4％、正規化スコア1.664％を達成し、外観特徴量が空間クラスタリングを顕著に改善することを示した。
• 場所手がかり戦略が時間手がかり戦略を上回り、トップ5正解率は33.6％（時間手がかり：31.6％）を記録した。これは、空間的一致性が時間的一致性よりもクラスタリングに信頼性が高いことを示している。
• 時間-外観戦略は、すべての手法の中で最も低い損失（3.71）を記録し、微調整中の収束性および一般化性能が優れていることを示した。
• 大規模な場所発見（例：675クラス）にもかかわらず、提案戦略の成功率は高く、複雑で長期的な環境でも頑健であることが示された。
• 事前学習済みDCNNからの外観特徴量は強力なインダクティブバイアスを提供し、時間や場所単体よりも意味的に整合性が高く判別力のある場所クラスタを形成できた。