[論文レビュー] Collaborative Visual Place Recognition

Yiming Li, Zonglin Lyu+4 more|arXiv (Cornell University)|Oct 9, 2023

Indoor and Outdoor Localization Technologies被引用数 4

ひとこと要約

本稿では、類似度正則化された情報統合を用いて近隣のエージェントからの視覚特徴を統合することで、場所認識を向上させる新しいマルチロボットフレームワークである協調的ビジュアルプレースレコognition（CoVPR）を提案する。単一エージェントVPRと比較して、都市部では最大12%のリCALL向上を達成し、農村部（+3%）および屋内（+1%）設定でも一貫した向上を示す一方、通信オーバーヘッドは低く抑えられ、NetVLADなどのモデルとエンドツーエンドで学習可能な互換性を維持している。

ABSTRACT

Visual place recognition (VPR) capabilities enable autonomous robots to navigate complex environments by discovering the environment's topology based on visual input. Most research efforts focus on enhancing the accuracy and robustness of single-robot VPR but often encounter issues such as occlusion due to individual viewpoints. Despite a number of research on multi-robot metric-based localization, there is a notable gap in research concerning more robust and efficient place-based localization with a multi-robot system. This work proposes collaborative VPR, where multiple robots share abstracted visual features to enhance place recognition capabilities. We also introduce a novel collaborative VPR framework based on similarity-regularized information fusion, reducing irrelevant noise while harnessing valuable data from collaborators. This framework seamlessly integrates with well-established single-robot VPR techniques and supports end-to-end training with a weakly-supervised contrastive loss. We conduct experiments in urban, rural, and indoor scenes, achieving a notable improvement over single-agent VPR in urban environments (~12\%), along with consistent enhancements in rural (~3\%) and indoor (~1\%) scenarios. Our work presents a promising solution to the pressing challenges of VPR, representing a substantial step towards safe and robust autonomous systems.

研究の動機と目的

• 視覚的遮蔽や視点制限による単一ロボットVPRの限界を克服するため、マルチロボット協調による場所認識を実現すること。
• 近隣のロボット間で共有される視覚特徴を用いて、強固でスケーラブルかつ効率的な協調的トポロジカルロケーションフレームワークを構築すること。
• NetVLADのような既存の単一エージェントVPRモデルとシームレスに統合可能であり、エンドツーエンドの弱教師付き学習をサポートすること。
• 都市部、農村部、屋内環境を含む多様な環境における協調的VPRの包括的ベンチマークを確立すること。

提案手法

• 類似度正則化された情報統合モジュールを提案し、複数のロボットからの視覚記述子を統合すると同時に、関係のないまたはノイズの多い特徴を抑制する。
• エンドツーエンドでの学習を可能にするために、弱教師付きの対照的損失を用いて、特徴抽出と統合の両方を共同最適化する。
• 各ロボットが定められた通信範囲内にいる協力者からの特徴を受信し、統合する協調的VPRフレームワークを導入する。
• 複数のエージェントからのランクスコアを組み合わせるリランク戦略を採用し、補完的な視覚的視点を活かして認識精度を向上させる。
• 単一エージェントおよびマルチエージェント評価モードをサポートし、耐性と収束性を検証するためのクロス評価を可能にする。
• 比較のための平均プーリングおよびリオーダリングベースラインを適用し、提案手法の統合機構の優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 視覚的遮蔽や視点変化といった困難な条件下でも、マルチロボット協調が視覚的プレースレコognition性能を顕著に向上させ得るか？
• RQ2 現実世界のシナリオにおいて、協力的ロボット間の距離が協調的VPRの性能にどのように影響するか？
• RQ3 類似度正則化された統合機構は、単純な平均化やリランク戦略に比べて、ノイズ低減と認識精度向上の両面で優れているか？
• RQ4 提案されたCoVPRフレームワークは、NetVLADのような既存の単一エージェントVPRモデルとどの程度統合可能か？
• RQ5 本手法は、都市部、農村部、屋内環境を含む多様な環境にどの程度一般化可能か？

主な発見

• 都市部では、提案されたCoVPR手法が単一エージェントVPRと比較して、リCALL@1で12%の向上を達成し、農村部では3%、屋内では1%の向上を示した。
• エゴロボットと協力者の距離が15メートルにまで拡大しても、一貫した性能向上を維持しており、距離変動に対して高い耐性を示した。
• 8メートルの距離では、平均プーリングやリオーダリングといった他の手法の性能が低下するが、本手法は依然として顕著なリCALL向上を達成した。
• クロス評価の結果、マルチエージェント環境での学習（マルチ・シングル）が単一エージェント学習よりも収束性と一般化性能に優れていることが示された。
• アブレーションスタディにより、類似度正則化された統合機構が、特に距離が長い状況下で単純な平均化やリランク戦略よりも効果的であることが確認された。
• 通信オーバーヘッドは最小限に抑えられ、NetVLADのような確立されたVPRモデルとも互換性があり、既存システムへのシームレスな統合が可能である。