[論文レビュー] Fast and Incremental Loop Closure Detection with Deep Features and Proximity Graphs

Shan An, Haogang Zhu+3 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文では、1つの畳み込みニューラルネットワークを用いてグローバルおよびローカルな深層特徴を同時に抽出することで、効率的なビジュアルプレースレコognitionを実現する高速でインクリメンタルなループ閉じる検出システムFILD++を提案する。HNSW（階層的ナビゲーション可能なスモールワールド）グラフを用いたリアルタイムインデキシングと、コンパクトな40次元のローカル特徴に対するブルートフォースマッチングにより、11のベンチマークデータセットのうち8つで最先端のリCALLを達成し、大規模なNew Collegeデータセット（52,480枚の画像）では平均クエリ時間22.05 msを達成した。

ABSTRACT

In recent years, the robotics community has extensively examined methods concerning the place recognition task within the scope of simultaneous localization and mapping applications.This article proposes an appearance-based loop closure detection pipeline named ``FILD++" (Fast and Incremental Loop closure Detection).First, the system is fed by consecutive images and, via passing them twice through a single convolutional neural network, global and local deep features are extracted.Subsequently, a hierarchical navigable small-world graph incrementally constructs a visual database representing the robot's traversed path based on the computed global features.Finally, a query image, grabbed each time step, is set to retrieve similar locations on the traversed route.An image-to-image pairing follows, which exploits local features to evaluate the spatial information. Thus, in the proposed article, we propose a single network for global and local feature extraction in contrast to our previous work (FILD), while an exhaustive search for the verification process is adopted over the generated deep local features avoiding the utilization of hash codes. Exhaustive experiments on eleven publicly available datasets exhibit the system's high performance (achieving the highest recall score on eight of them) and low execution times (22.05 ms on average in New College, which is the largest one containing 52480 images) compared to other state-of-the-art approaches.

研究の動機と目的

• 時間のかかる特徴抽出およびハッシング技術に依存するのを減らすことで、ビジュアルループ閉じる検出における計算ボトルネックを解消すること。
• 1つのディープネットワーク内でグローバルおよびローカル特徴抽出を統合することで、場所認識の効率性と正確性を向上させること。
• 階層的ナビゲーション可能なスモールワールド（HNSW）グラフを用いたインクリメンタルインデキシングにより、大規模環境でもリアルタイム性能を実現すること。
• ハッシュコードの生成や複雑なボキャブラリ構築を排除し、コンパクトな深層ローカル特徴に対する直接的かつ完全なマッチングを採用すること。
• 幾何的検証の正確性を損なわず、多様で現実世界のデータセットにおいて高いリCALLと低実行時間の両立を達成すること。

提案手法

• 2回のフォワードパスで1つの畳み込みニューラルネットワークを用いてグローバルおよびローカルな深層特徴を抽出し、モデルの複雑さと推論時間を削減すること。
• グローバルな深層特徴を用いてHNSWグラフをインクリメンタルに構築し、クエリ処理中に高速な類似度検索を可能にすること。
• グローバル特徴の類似度に基づき、HNSWグラフ内で上位-k個の近隣を検索することで、初期フィルタリングを実施すること。
• 幾何的検証のために、40次元の深層ローカル特徴に対してブルートフォースマッチングを実行し、ハッシュコードや量子化の使用を避けること。
• RANSACに基づく幾何的整合性チェックを用いて、候補となる画像ペアを検証し、誤検出を排除すること。
• 大規模SLAMシステムへの導入に適したリアルタイムでインクリメンタルなフレームワークとして、全体のパイプラインを統合すること。

Figure 1: The modified version of DEep Local Feature (DELF) [ 61 ] architecture for feature extraction . We extract the incoming visual stream’s global and local representations via two passes of the proposed fully convolutional network. Three components constitute its structure, namely: the backbon

実験結果

リサーチクエスチョン

• RQ1 グローバルおよびローカル特徴抽出を1つの統合ディープネットワークで行うことで、マルチモデルまたはハイブリッドアプローチと比較して、ループ閉じる検出の効率性と正確性が向上するか？
• RQ2 グローバル特徴のインデキシングにHNSWグラフを用いることで、大規模なビジュアルデータベースにおける検索速度とリCALLにどのような影響を与えるか？
• RQ3 ハッシュベースまたはボキャブラリベースの手法に代わって、コンパクトな深層ローカル特徴に対するブルートフォースマッチングが、速度と正確性の面でどの程度代替可能か？
• RQ4 ハッシュコード生成ステップを排除することで、実行時間とシステムの単純さにどの程度の性能向上が得られるか？
• RQ5 多様で現実世界のデータセットにおいて、FILD++は最先端の手法と比較して、リCALLとレイテンシの両面でどの程度優れているか？

主な発見

• FILD++は、11の公開データセットのうち8つで最高のリCALLスコアを達成し、優れた検出正確性を示した。
• New Collegeデータセット（52,480枚の画像）では、1クエリあたり平均22.05 msで処理が可能であり、前回のFILD手法（1クエリあたり50.28 ms）よりも顕著に高速であった。
• New Collegeデータセットでは、特徴抽出時間が1クエリあたり17.69 msから14.62 msに短縮され、ハッシュコード作成ステップが不要となった。
• RANSAC検証ステップの速度が1クエリあたり7.55 msから1.72 msに向上し、全体の高速化に大きく寄与した。
• 40次元の深層ローカル特徴を用いることで、CasHashを必要とせず、効率的なブルートフォースマッチングが可能になり、パイプラインの単純化と計算オーバーヘッドの低減が達成された。
• ディープ特徴の識別力と効果的な幾何的検証のおかげで、テクスチャが豊富で動的なシーンを含む多様な環境においても、高い正確性と耐障害性を維持した。

Figure 2: An overview of the proposed loop closure detection pipeline. Global and local Convolution Neural Network (CNN) -based features are extracted as the incoming image stream enters the system. The global features enter the First-In-First-Out (FIFO) queue, and subsequently, they are fed into th