[論文レビュー] Degeneracy in Self-Calibration Revisited and a Deep Learning Solution for Uncalibrated SLAM

Bingbing Zhuang, Quoc-Huy Tran+4 more|arXiv (Cornell University)|Jul 30, 2019

Robotics and Sensor-Based Localization参考文献 44被引用数 4

ひとこと要約

この論文は、径方向歪みの2視点自己自己撮影における幾何的退化を再検討し、合成データで訓練されたCNNを用いた深層学習ベースの単一画像カメラ自己自己撮影手法を提案する。合成データで訓練されたモデルにより、KITTI RawおよびYouTubeの未自己自己撮影動画において、チェッカーボードを用いない堅牢なSLAMが可能となり、定量的評価では真値に近い軌道精度を達成し、誤差ギャップはわずかである。

ABSTRACT

Self-calibration of camera intrinsics and radial distortion has a long history of research in the computer vision community. However, it remains rare to see real applications of such techniques to modern Simultaneous Localization And Mapping (SLAM) systems, especially in driving scenarios. In this paper, we revisit the geometric approach to this problem, and provide a theoretical proof that explicitly shows the ambiguity between radial distortion and scene depth when two-view geometry is used to self-calibrate the radial distortion. In view of such geometric degeneracy, we propose a learning approach that trains a convolutional neural network (CNN) on a large amount of synthetic data. We demonstrate the utility of our proposed method by applying it as a checkerboard-free calibration tool for SLAM, achieving comparable or superior performance to previous learning and hand-crafted methods.

研究の動機と目的

• 一般歪みモデルと離散的SfM定式化を用いて、前方移動下における2視点径方向歪み自己自己撮影の退化を理論的に証明すること。
• 前方移動が生じる現実世界のドライブシナリオにおいて、径方向歪みとシーン深度の間の曖昧さが幾何的手法の不安定性を引き起こす理由を解明すること。
• 単一の未自己自己撮影画像からカメラ内部パラメータと径方向歪みを学習するデータ駆動型アプローチを開発し、チェッカーボード自己自己撮影を用いない堅牢なSLAMを実現すること。
• KITTI RawおよびYouTubeの実世界動画シーケンスにおける未自己自己撮影SLAMにおいて、提案手法の実現可能性と優位性を示すこと。
• CNNにおけるディープスーパービジョンが、内部パラメータおよび歪み推定のための標準的マルチタスク学習に比べて性能を向上させるかを示すこと。

提案手法

• 一般歪みモデルと離散的構造から運動（SfM）定式化を用いて、前方移動下における2視点径方向歪み自己自己撮影の退化を形式的に証明する。
• カメラ内部パラメータをランダムに変化させ、校正済み画像にランダムな径方向歪みを適用することで、多様な現実世界の状況をシミュレートする大規模な合成データセットを生成する。
• 単一の未自己自己撮影画像からカメラ内部パラメータ（焦点距離、主点）および径方向歪みパラメータを予測するため、ディープスーパービジョンを施した畳み込みニューラルネットワーク（CNN）を訓練する。
• CNNの中間層にディープスーパービジョンを適用することで、径方向歪みおよび内部パラメータの両方の正則化と推定精度を向上させる。
• 2段階のSLAMパイプラインを採用する：まず、最初の100フレームからネットワークがカメラパラメータを推定し、次に、これらのパラメータを用いて全動画シーケンスを校正した後、ORB-SLAMに供給する。
• 提案手法は、ORB-SLAMを用いてKITTI RawおよびYouTubeデータセットで評価され、真値パラメータと手作業で作成された手法をベースラインとして用いる。

実験結果

リサーチクエスチョン

• RQ1 前方移動下における2視点径方向歪み自己自己撮影の退化の理論的要因は何か？ そして、それが形式的に証明できるか？
• RQ2 径方向歪みとシーン深度の曖昧さが、ドライブシナリオにおける幾何的自己自己撮影手法の安定性にどのように影響するか？
• RQ3 合成データで訓練された深層学習モデルが、実世界の未自己自己撮影動画に一般化可能であり、従来の幾何的および手作業で作成された手法を上回る性能を示せるか？
• RQ4 CNNにおけるディープスーパービジョンが、径方向歪みおよび内部パラメータの単一画像自己自己撮影の精度を向上させるか？
• RQ5 提案された自己自己撮影手法を用いて、チェッカーボード自己自己撮影を用いないで、未自己自己撮影動画において堅牢なSLAMを実現することは可能か？

主な発見

• 本論文は、前方移動下において、径方向歪みとシーン深度の間の本質的曖昧さに起因する2視点径方向歪み自己自己撮影の退化が、形式的に理論的に証明されている。
• 提案されたCNNベースの手法は、KITTI Rawテストシーケンス全体におけるキーフレーム軌道推定で、中央値の平均二乗誤差（RMSE）が8.04メートルを達成し、真値RMSE（7.29メートル）に非常に近い。
• KITTI Rawシーケンスにおいて、手作業で作成された手法（'HandCrafted+OVP'）はORB-SLAMの5回の実行すべてで失敗したが、提案手法は顕著なスリップなしに正常なSLAM実行を可能にした。
• YouTubeテストシーケンスでは、提案手法が全3シーケンスでORB-SLAMを正常に実行できたのに対し、手作業で作成された手法は最後の2シーケンスで初期化失敗により失敗した。
• 定性的な結果から、提案手法を用いて再構築されたシーン構造とカメラ軌道は、手作業で作成されたベースラインと比べて著しく正確で歪みが少ないことが示された。
• 本手法は実世界の未自己自己撮影動画に良好に一般化され、CNNにおけるディープスーパービジョンが、内部パラメータおよび歪み推定のための標準的マルチタスク学習に比べて優れた性能を発揮することが示された。