[論文レビュー] gradSLAM: Dense SLAM meets Automatic Differentiation

Krishna Murthy Jatavallabhula, Ganesh Iyer+1 more|arXiv (Cornell University)|Oct 23, 2019

Robotics and Sensor-Based Localization被引用数 21

ひとこと要約

gradSLAM は、信頼領域最適化、表面測定、レイトレーシングなどの非微分可能コンポーネントを微分可能にすることで、2Dピクセルから3Dマップへのエンドツーエンドのバックプロパゲーションを可能にする、密度型SLAMのための微分可能計算グラフフレームワークを導入する。これにより、SLAMパイプライン全体にわたり勾配ベースの学習が可能となり、ロボット工学におけるデータ駆動型表現学習の新たな道を開く。

ABSTRACT

The question of representation is central in the context of dense simultaneous localization and mapping (SLAM). Newer learning-based approaches have the potential to leverage data or task performance to directly inform the choice of representation. However, learning representations for SLAM has been an open question, because traditional SLAM systems are not end-to-end differentiable. In this work, we present gradSLAM, a differentiable computational graph take on SLAM. Leveraging the automatic differentiation capabilities of computational graphs, gradSLAM enables the design of SLAM systems that allow for gradient-based learning across each of their components, or the system as a whole. This is achieved by creating differentiable alternatives for each non-differentiable component in a typical dense SLAM system. Specifically, we demonstrate how to design differentiable trust-region optimizers, surface measurement and fusion schemes, as well as differentiate over rays, without sacrificing performance. This amalgamation of dense SLAM with computational graphs enables us to backprop all the way from 3D maps to 2D pixels, opening up new possibilities in gradient-based learning for SLAM. TL;DR: We leverage the power of automatic differentiation frameworks to make dense SLAM differentiable.

研究の動機と目的

• エンドツーエンドの微分可能性を可能にすることで、密度型SLAMにおける表現学習の課題に取り組む。
• 従来のSLAMシステムは微分可能でないため、勾配ベースの最適化が制限されるという制限を克服する。
• 最適化、表面融合、レイトレーシングなどの密度型SLAMにおける主要な非微分可能コンポーネントの微分可能代替案を設計する。
• 3Dマップから2Dピクセルまでバックプロパゲーションを可能にし、SLAMパイプライン全体にわたる連合学習を促進する。
• 微分可能なSLAMを通じて、データ駆動型表現学習の新たな可能性をロボット工学分野に開く。

提案手法

• 画像符号化、深度推定、3Dマップ構築を含む、密度型SLAMパイプライン全体をモデル化する計算グラフを構築する。
• 反復的最適化ステップを微分可能な演算に再定式化することで、微分可能な信頼領域最適化を設計する。
• 深度測定を3Dマップに統合する過程で勾配が流れることを可能にする、微分可能な表面測定および融合スキームを開発する。
• レンダリングおよび投影に用いられるレイトレーシング操作を、微分可能な関数による近似で微分可能にする。
• PyTorch などの自動微分フレームワークを活用して、ピクセルから3D座標に至るまで、すべてのコンポーネントを経由した勾配を計算する。
• 微分可能コンポーネントが非微分可能ベースラインと同等の性能を維持することを保証し、精度を損なわず学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 密度型SLAMシステムを完全に微分可能にすることで、すべてのコンポーネントに勾配ベースの学習を可能にできるか？
• RQ2 信頼領域最適化や表面融合などの非微分可能演算を、どのように微分可能な関数に再定式化できるか？
• RQ3 密度型SLAMシステムにおいて、2Dピクセルから3Dマップ表現への勾配伝搬はどの程度保持できるか？
• RQ4 微分可能なSLAMは、エンドツーエンド学習を通じて表現とシステムコンポーネントの共同最適化を可能にするか？
• RQ5 コアSLAMコンポーネントに微分可能性を導入する際、精度を損なわずに行う場合の性能的トレードオフは、どのようなものがあるか？

主な発見

• gradSLAM は、最適化、融合、レイトレーシングなどの主要なSLAMコンポーネントを微分することで、3Dマップから2Dピクセルへのバックプロパゲーションを成功裏に実現した。
• フレームワークは非微分可能ベースラインと同等の性能を維持しており、微分可能性が精度を損なわないことを示している。
• 反復的ソルバーを計算グラフ内での微分可能な演算に再定式化することで、微分可能な信頼領域最適化が達成された。
• 微分可能な補間および集約関数を用いることで、表面測定および融合スキームが微分可能となった。
• 微分可能な近似を用いることでレイトレーシング操作が微分可能となり、投影およびレンダリングステップへの勾配伝搬が可能になった。
• 自動微分の密度型SLAMへの統合により、生のピクセルからエンドツーエンドの表現学習を可能にする、新たな学習パラダイムが実現された。