[論文レビュー] A Joint Optimization Approach of LiDAR-Camera Fusion for Accurate Dense 3D Reconstructions

Weikun Zhen, Yaoyu Hu+2 more|arXiv (Cornell University)|Jul 1, 2019

Robotics and Sensor-Based Localization参考文献 28被引用数 6

ひとこと要約

本論文は、オフラインで確率的に整合性を持たせた形でステレオ画像とLiDAR点群を融合することで、同時にカメラの姿勢とLiDAR-カメラ間の外部パラメータを推定する共同最適化フレームワークを提案する。本手法は平均再構成精度2.7 mm、点群密度70点/cm²を達成し、信頼性の低い特徴マッチングに依存しないことと、統一されたバンドル調整および点群登録最適化による自己自己校正が可能になることで、最先端手法を著しく上回る性能を発揮する。

ABSTRACT

Fusing data from LiDAR and camera is conceptually attractive because of their complementary properties. For instance, camera images are higher resolution and have colors, while LiDAR data provide more accurate range measurements and have a wider Field Of View (FOV). However, the sensor fusion problem remains challenging since it is difficult to find reliable correlations between data of very different characteristics (geometry vs. texture, sparse vs. dense). This paper proposes an offline LiDAR-camera fusion method to build dense, accurate 3D models. Specifically, our method jointly solves a bundle adjustment (BA) problem and a cloud registration problem to compute camera poses and the sensor extrinsic calibration. In experiments, we show that our method can achieve an averaged accuracy of 2.7mm and resolution of 70 points per square cm by comparing to the ground truth data from a survey scanner. Furthermore, the extrinsic calibration result is discussed and shown to outperform the state-of-the-art method.

研究の動機と目的

• スパarsな幾何的LiDARデータと密度の高いテクスチャを持つカメラデータを統合し、高精度な3D再構成を実現すること。
• 点群と画像間の信頼性の低い特徴対応に依存する既存の統合手法の限界を克服すること。
• 確率的フレームワーク内でカメラの姿勢と外部パラメータを同時に最適化することで、耐障害性と精度を向上させること。
• 事前キャリブレーションされた外部パラメータや専用のキャリブレーションターゲットを必要とせずに、LiDAR-カメラシステムの自己自己校正を可能にすること。
• 測量グレードスキャナに匹敵する精度に近い、密度の高いテクスチャ付き3Dモデルの生成を実現すること。

提案手法

• 本手法は、カメラの姿勢のバンドル調整（BA）問題と、外部パラメータの点群登録問題を、1つの確率的最適化フレームワーク内で同時に解く。
• ステレオ画像とLiDAR点群からの幾何的制約を組み合わせたコスト関数を定式化し、確率的モデルを用いてセンサーの不確実性を明示的に扱う。
• 複数の静止したセンサーステーションを用い、各ステーションで同期されたステレオ画像とLiDARスキャンを取得することで、オフラインで最適化を実行する。
• テクスチャやエッジの品質に依存しない幾何的一致性に依存するため、ヒューリスティックな特徴マッチングを回避し、依存度を低減する。
• カメラの姿勢と外部変換の共同パrameterizationを同時に最適化することで、相互制約による自己自己校正を実現する。
• 地面真値比較にはICPベースの登録を、再構成精度の定量的評価にはCloudCompareを用いる。

実験結果

リサーチクエスチョン

• RQ1 カメラの姿勢とLiDAR-カメラ外部パラメータの同時推定を可能にする共同最適化フレームワークは、3D再構成精度を向上させ得るか？
• RQ2 LiDARのエッジと画像のエッジ間の特徴マッチングに依存しないことで、より頑健なキャリブレーションと再構成が達成できるか？
• RQ3 LiDARとステレオデータを統合することで、ステレオのみまたは事前キャリブレーション済み統合と比較して、再構成誤差がどの程度低減されるか？
• RQ4 異なるセンサ構成下での外部パラメータキャリブレーションの制約状態はどの程度で、観測可能または未制約の自由度は何か？
• RQ5 提案手法は、FARO FOCUS3Dのような測量グレードスキャナに匹敵する再構成精度を達成できるか？

主な発見

• 本手法は、±3 mmの距離精度を持つFARO FOCUS3Dスキャナの地面真値データと比較して、平均再構成精度2.7 mmを達成した。
• 本手法は70点/cm²の密度の高い3Dモデルを生成し、地面真値（10～15点/cm²）よりも顕著に密度が高かった。
• LiDARデータの統合により、再構成誤差はステレオのみの場合の6 mmから2.7 mmに低減され、LiDARの幾何的制約の有効性が示された。
• 外部パラメータの共同最適化により、ヒューリスティックな特徴マッチングに依存しないことで、最先端手法を上回るキャリブレーションの頑健性と精度が実現された。
• 複数の非同一直線上の視点が利用可能な場合、外部パラメータは良好に制約されるが、センサの姿勢がほぼ同一直線上にある場合、または並進のみが摂動する場合、制約が不十分になる。
• 本手法は自己自己校正を可能にし、事前キャリブレーションされた外部パラメータや専用のキャリブレーションターゲットの必要性を排除した。