[論文レビュー] Online Mutual Adaptation of Deep Depth Prediction and Visual SLAM

Shing Yan Loo, Moein Shakeri+3 more|arXiv (Cornell University)|Nov 7, 2021

Robotics and Sensor-Based Localization参考文献 29被引用数 4

ひとこと要約

本稿では、SLAMが生成するキーフレームを用いて事前学習済みCNNを微調整し、適応した深度推定を用いてノイズ除去とグローバルな光度的バンドル調整を改善することで、モノクローラル深度推定とビジュアルSLAMの両方を同時に向上させるオンライン相互適応フレームワークを提案する。Elastic Weight Consolidation (EWC)正則化を適用することで、オンライン適応中に深刻な忘却を防ぎ、特に未知の環境において深度誤差を低減し、SLAMの精度を向上させる。

ABSTRACT

The ability of accurate depth prediction by a convolutional neural network (CNN) is a major challenge for its wide use in practical visual simultaneous localization and mapping (SLAM) applications, such as enhanced camera tracking and dense mapping. This paper is set out to answer the following question: Can we tune a depth prediction CNN with the help of a visual SLAM algorithm even if the CNN is not trained for the current operating environment in order to benefit the SLAM performance? To this end, we propose a novel online adaptation framework consisting of two complementary processes: a SLAM algorithm that is used to generate keyframes to fine-tune the depth prediction and another algorithm that uses the online adapted depth to improve map quality. Once the potential noisy map points are removed, we perform global photometric bundle adjustment (BA) to improve the overall SLAM performance. Experimental results on both benchmark datasets and a real robot in our own experimental environments show that our proposed method improves the overall SLAM accuracy. While regularization has been shown to be effective in multi-task classification problems, we present experimental results and an ablation study to show the effectiveness of regularization in preventing catastrophic forgetting in the online adaptation of depth prediction, a single-task regression problem. In addition, we compare our online adaptation framework against the state-of-the-art pre-trained depth prediction CNNs to show that our online adapted depth prediction CNN outperforms the depth prediction CNNs that have been trained on a large collection of datasets.

研究の動機と目的

• ドメインシフトにより性能が低下する実世界のビジュアルSLAMシステムに、事前学習済み深度推定CNNを導入する課題に対処すること。
• 大規模データセットの再トレーニングを必要とせず、SLAMフィードバックを用いて深度CNNをオンラインで適応可能にすること。
• ノイズの多いマップポイントを除去した後、オンラインで適応した深度推定をグローバルな光度的バンドル調整に統合することで、SLAMの精度を向上させること。
• 特に、単一タスクの深度回帰モデルにおけるオンライン微調整中に深刻な忘却を防ぐために、正則化手法（特にEWC）の有効性を調査すること。
• 長時間のシーケンスにおいて、オンライン適応された深度推定が、最先端の事前学習モデルを上回る深度精度とSLAM性能を達成できることを実証すること。

提案手法

• フレームワークは、(1) SLAMを用いてキーフレームを抽出し、深度推定の品質を評価する段階と、(2) 推定誤差がしきい値を超えると、これらのキーフレーム上で深度CNNを微調整する段階を交互に繰り返す。
• グローバルな光度的バンドル調整を実行する前に、オンライン適応済みの深度推定を用いてノイズの多い3次元マップポイントを除去することで、カメラトラッキングとマップ再構築の精度を向上させる。
• Elastic Weight Consolidation (EWC) を用いて、パラメータの重要度をフィッシャー情報行列を用いて測定することで、オンライン微調整中に事前に学習した知識を保持する正則化を実施する。
• 新規データにおける光度再構成損失と、重要なパラメータへの大きな更新をペナルティ化するEWC正則化項を組み合わせたハイブリッド損失関数を採用する。
• ベンチマークデータセットと実世界のロボットデプロイメントを用いてフレームワークを評価し、事前学習済み深度モデルおよび正則化なしのアブレーションバージョンと性能を比較する。
• EWCと比較するため、代替の正則化手法（SIおよびMAS）の有効性も評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み深度CNNは、ビジュアルSLAMシステムからのフィードバックを用いて、未知の環境においてリアルタイムで効果的に微調整可能か？
• RQ2 深度CNNのオンライン適応は、特に長時間シーケンスにおいて、ビジュアルSLAMの精度に測定可能な向上をもたらすか？
• RQ3 EWCのような正則化手法は、深度推定のような単一タスク回帰モデルのオンライン微調整中に深刻な忘却を防げるか？
• RQ4 グローバルバンドル調整にオンライン適応済み深度推定を統合することで、マップ品質とカメラトラッキングの安定性にどのような影響を与えるか？
• RQ5 オンライン適応された深度推定は、深度誤差とSLAM性能の両面で、最先端の事前学習モデルを上回るか？

主な発見

• 提案されたオンライン適応フレームワークは、SLAMフィードバックを活用して深度推定を精緻化することで、実世界環境におけるSLAM精度を顕著に向上させる。
• オンライン適応済み深度推定を用いて、グローバルな光度的バンドル調整の前にノイズの多いマップポイントを除去することで、より正確なカメラトラッキングと改善された3次元マップ再構築が達成される。
• EWC正則化は、深度CNNのオンライン微調整中に深刻な忘却を効果的に防止し、経験再生のみを用いた手法よりも、過去の知識の保持を優れている。
• オンライン適応済み深度推定モデルは、長時間にわたる適応が進むと、最先端の事前学習モデルよりも低い深度誤差を達成する。
• アブレーションスタディの結果、正則化が安定したオンライン適応に不可欠であり、SIおよびMASはこの文脈でEWCと同等またはわずかに劣る性能を示す。
• フレームワークは多様な実世界環境において、多数の評価指標で一貫した改善を示し、頑健性と適応性を示している。