[論文レビュー] SOIC: Semantic Online Initialization and Calibration for LiDAR and Camera

Weimin Wang, Shohei Nobuhara+2 more|arXiv (Cornell University)|Mar 9, 2020

Advanced Vision and Imaging参考文献 30被引用数 31

ひとこと要約

SOICは、セマンティックセグメンテーションを用いてLiDARとカメラ間のオンライン・ターゲットなしの外部校正を実行し、セマンティックセントロイドによる初期推定を生成し、セマンティック一貫性コスト関数でパラメータを調整する。

ABSTRACT

This paper presents a novel semantic-based online extrinsic calibration approach, SOIC (so, I see), for Light Detection and Ranging (LiDAR) and camera sensors. Previous online calibration methods usually need prior knowledge of rough initial values for optimization. The proposed approach removes this limitation by converting the initialization problem to a Perspective-n-Point (PnP) problem with the introduction of semantic centroids (SCs). The closed-form solution of this PnP problem has been well researched and can be found with existing PnP methods. Since the semantic centroid of the point cloud usually does not accurately match with that of the corresponding image, the accuracy of parameters are not improved even after a nonlinear refinement process. Thus, a cost function based on the constraint of the correspondence between semantic elements from both point cloud and image data is formulated. Subsequently, optimal extrinsic parameters are estimated by minimizing the cost function. We evaluate the proposed method either with GT or predicted semantics on KITTI dataset. Experimental results and comparisons with the baseline method verify the feasibility of the initialization strategy and the accuracy of the calibration approach. In addition, we release the source code at https://github.com/--/SOIC.

研究の動機と目的

• オンラインなLiDAR-カメラ外部校正を rough初期推定を必要とせずに実現すること。
• セマンティックセグメンテーションを活用して初期化と refinement のための3D-2D対応を確立すること。
• LiDARのセマンティックラベルと画像ピクセルラベルの投影整合性に基づく微分可能なコスト関数を開発すること。
• GTと予測セマンティクスでKITTIデータ上のSOICの実現可能性と精度を示すこと。
• ロボティクスと自動運転での実用的採用のためのオープンソースコードを公開すること。

提案手法

• セマンティックセントロイドを用いたセマンティックベースのPnP初期化を定式化し、粗い姿勢を生成すること。
• LiDARセマンティックラベルと投影された画像ピクセルラベルの整合性を測るセマンティック一貫性コストを定義すること。
• 画像上に投影された点やセマンティクスが不一致の場合や外部に出す点をペナルティとする距離関数を用いること。
• 有効なセマンティック点の数でコストを正規化して目的関数Lを得ること。
• Extrinsicパラメータ上でLを最小化して、回転と平行移動を洗練させること。
• コスト関数の凸性と頑健性を示し、Powell法による最適化を実施すること。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションは初期化なしのオンラインLiDAR-カメラ校正を可能にするか。
• RQ2 セマンティックセントロイドを用いてクロスモーダルなPnPの解ける初期姿勢をどのように形成できるか。
• RQ3 セマンティック一貫性ベースのコストは、ベースライン手法と比べて外部校正を正確に導くか。
• RQ4 KITTIで信頼性の高い校正を得るためには、画像-点群ペアは何組必要か。
• RQ5 GTセマンティクスと予測セマンティクスでSOICはどの程度性能が異なるか。

主な発見

• SOICはセマンティックセントロイドを用いて初期化をPnP問題へ変換することで、事前の rough初期値なしにオンラインなLiDAR-カメラ校正を可能にする。
• セマンティック一貫性コストは、初期のセマンティックセントロイドベース推定を超えて微調整を効果的に導く。
• KITTIでGTおよび予測セマンティクスの両方で初期化とキャリブレーションが実現可能であり、初期推定の品質に頑健であることを示す。
• 20組のペアフレームを用いると、セマンティクスの品質に応じて回転誤差がおおよそ0.1–1度、平行移動誤差がおおよそ0.1 m程度になる。
• 予測セマンティクスを用いたSOICはGTセマンティクスと競合する精度を達成し、実世界のセマンティックネットワークと現実的な適用性を示す。
• 本手法はLiDAR-カメラ以外の様々なセンサペアへの統合をサポートし、オンラインおよび屋内環境にも適用可能である。