[論文レビュー] Joint Calibration of Panoramic Camera and Lidar Based on Supervised Learning

Mingwei Cao, Ming Quan Yang+3 more|arXiv (Cornell University)|Sep 9, 2017

Advanced Vision and Imaging参考文献 7被引用数 3

ひとこと要約

本稿では、円形キャリブレーションターゲットを用いて対応する特徴点を抽出し、ニューラルネットワークを用いて回転行列および平行移動行列を回帰することで、パノラマカメラとLiDARセンサの共同キャリブレーションのための教師あり学習ベースの手法を提案する。本手法は、従来の最適化ベースの手法と比較して、より高い精度と自動化を達成しており、実世界のデータを用いた実験結果から優れた性能を示している。

ABSTRACT

In view of contemporary panoramic camera-laser scanner system, the traditional calibration method is not suitable for panoramic cameras whose imaging model is extremely nonlinear. The method based on statistical optimization has the disadvantage that the requirement of the number of laser scanner's channels is relatively high. Calibration equipments with extreme accuracy for panoramic camera-laser scanner system are costly. Facing all these in the calibration of panoramic camera-laser scanner system, a method based on supervised learning is proposed. Firstly, corresponding feature points of panoramic images and point clouds are gained to generate the training dataset by designing a round calibration object. Furthermore, the traditional calibration problem is transformed into a multiple nonlinear regression optimization problem by designing a supervised learning network with preprocessing of the panoramic imaging model. Back propagation algorithm is utilized to regress the rotation and translation matrix with high accuracy. Experimental results show that this method can quickly regress the calibration parameters and the accuracy is better than the traditional calibration method and the method based on statistical optimization. The calibration accuracy of this method is really high, and it is more highly-automated.

研究の動機と目的

• パノラマカメラの非線形性が著しい像モデルのため、従来のキャリブレーション手法に見られる限界を解消すること。
• パノラマカメラ-LiDARシステムにおける高チャネル数のLiDARセンサや高精度キャリブレーション装置の高コスト・高要件を克服すること。
• 反復的最適化に依存しない教師あり学習を用いて、より自動的かつ高精度なキャリブレーション手法を開発すること。
• 特化したニューラルネットワークアーキテクチャを用いて、キャリブレーション問題を複数の非線形回帰タスクに変換すること。

提案手法

• パノラマ画像とLiDAR点群間の対応する特徴点を生成するために、円形キャリブレーションターゲットを設計する。
• パノラマ像モデルを事前処理して、効果的な特徴マッチングとネットワーク入力の準備を可能にする。
• 生成されたデータセットを用いて教師あり学習ネットワークを訓練し、カメラとLiDAR間の3次元変換（回転と平行移動）を回帰する。
• バックプロパゲーションを用いて、画像および点群特徴からキャリブレーションパラメータの回帰を最適化する。
• 反復的最適化や高チャネル数のLiDARシステムに依存しない非線形回帰タスクとしてキャリブレーション問題を扱う。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習アプローチは、従来の最適化ベースの手法に比べ、パノラマカメラ-LiDARシステムのキャリブレーション精度を向上させることができるか？
• RQ2 統計的最適化手法と比較して、提案手法は高チャネル数のLiDARセンサへの依存度を低減できるか？
• RQ3 円形キャリブレーションターゲットの使用が、特徴対応の質とキャリブレーションのロバストネスをどの程度向上させるか？
• RQ4 従来のキャリブレーションパイプラインと比較して、提案手法は自動化度と収束速度においてどのように優れているか？

主な発見

• 提案手法は、従来のキャリブレーション手法および統計的最適化に基づく手法と比較して、より高いキャリブレーション精度を達成した。
• エンドツーエンドの学習フレームワークのおかげで、収束が早く、自動化度が高くなった。
• 実験結果から、教師あり学習ネットワークが高精度で回転行列および平行移動行列を効果的に回帰できることを確認した。
• 従来の手法が取り扱いにくく、困難をきたすパノラマカメラの非線形像モデルに対しても、本手法はロバストであることが示された。