[論文レビュー] Online Extrinsic Camera Calibration for Temporally Consistent IPM Using Lane Boundary Observations with a Lane Width Prior

Jeong-Kyun Lee, Young Ki Baik+2 more|arXiv (Cornell University)|Aug 9, 2020

Advanced Vision and Imaging参考文献 23被引用数 4

ひとこと要約

本稿では、走行レーンの境界観測とレーン幅の事前知識を用いて、ピッチ、ヨー、ロール、カメラ高さをオンラインで推定する、外挿的カメラキャリブレーション手法を提案する。この手法により、自動運転における時間的に一貫性のある逆画像投影マッピング（IPM）が実現される。ピッチ/ヨーのための消失点推定と、レーン幅の事前知識を用いたロール/カメラ高さの最適化を拡張カルマンフィルタを用いて統合することで、ノイズや運動変動に対しても、サブデグリーの精度とセンチメートルレベルの安定性を達成する。

ABSTRACT

In this paper, we propose a method for online extrinsic camera calibration, i.e., estimating pitch, yaw, roll angles and camera height from road surface in sequential driving scene images. The proposed method estimates the extrinsic camera parameters in two steps: 1) pitch and yaw angles are estimated simultaneously using a vanishing point computed from a set of lane boundary observations, and then 2) roll angle and camera height are computed by minimizing difference between lane width observations and a lane width prior. The extrinsic camera parameters are sequentially updated using extended Kalman filtering (EKF) and are finally used to generate a temporally consistent bird-eye-view (BEV) image by inverse perspective mapping (IPM). We demonstrate the superiority of the proposed method in synthetic and real-world datasets.

研究の動機と目的

• 振動や環境変化に起因するドライビング中の外挿的カメラパラメータのズレの課題に対処すること。
• 安全上の重要性が極めて高いADASおよび自動運転システムにおいて、手動介入なしにリアルタイムで自動キャリブレーションを可能にすること。
• ピッチ、ヨー、ロール、高さの4つの外挿的パラメータをオンラインで推定することで、時間的に一貫性のある鳥瞰図（BEV）画像を実現すること。
• 動的走行状況下での推定精度と耐障害性を向上させるために、レーン幅を事前知識として活用すること。
• IPM出力の時間的整合性を確保し、BEV画像におけるレーン幅の変動やスケール歪みを防止すること。

提案手法

• 完全畳み込みニューラルネットワークベースのセグメンテーションモデルを用いて、入力画像内のレーン境界を検出する。
• RANSACとガウス球理論を用いて、ノイズに強く耐性のある平行レーン境界の消失点（VP）を推定する。
• カメラの前方ベクトルに対するVPの方向から、ピッチ角とヨー角を計算する。
• 推定されたピッチとヨーを用いて、観測されたレーン幅と事前知識のレーン幅の差を最小化することで、ロール角とカメラ高さを推定する。
• 拡張カルマンフィルタ（EKF）を用いて、外挿的パラメータを逐次更新し、時間的整合性を確保する。
• 更新されたパラメータを用いて逆画像投影マッピング（IPM）を実行し、時間的に安定したBEV画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 走行レーンの境界観測のみを用いて、ピッチ、ヨー、ロール、カメラ高さの4つの外挿的カメラパラメータをオンラインで推定できるか？
• RQ2 ピッチとヨーが既知である状態で、どのようにしてレーン幅の事前知識を効果的に用いてロールとカメラ高さを推定できるか？
• RQ3 カメラの運動変動や画像ノイズが存在する状況下でも、提案手法が時間的に一貫性のあるBEV画像を生成できるか？
• RQ4 画像ノイズのレベルが変化する状況下や実世界の走行条件下で、パラメータ推定の精度はどの程度か？
• RQ5 EKFの使用が、キャリブレーション結果の時間的安定性をどの程度向上させるか？

主な発見

• ノイズが強い状況（σ² = 9ピクセル）下でも、ピッチとヨーの平均二乗誤差（RMSE）が0.2度未満、カメラ高さのRMSEが1.5 cm未塔を達成する。
• 合成データセットにおいて、σ² = 9の条件下でロール角のRMSEが0.114度未塔、高さのRMSEが1.4 cm未塔を示し、ノイズに対する耐障害性が確認された。
• 提案手法で生成されたBEV画像は、運動変動が生じてもレーン幅が一貫しており、フレーム間での変動が最小限に抑えられている。
• 実世界データセット（Test1およびTest2）において、事前にキャリブレーションされたパラメータを用いたベースラインIPMと比較して、BEV品質が顕著に向上し、スケールの不整合が解消された。
• 手動でアノテートされたレーン境界から導出された疑似真値と、推定された外挿的パラメータが非常に近接しており、実データ上での精度が妥当であることが検証された。
• EKFの使用により、滑らかで時間的に整合性のあるパラメータ更新が実現され、BEV出力における急激なジャンプが防止された。