[論文レビュー] Autocamera Calibration for traffic surveillance cameras with wide angle lenses

Aman Gajendra Jain, Nicolas Saunier|PolyPublie (École Polytechnique de Montréal)|Jan 20, 2020

Video Surveillance and Tracking Methods参考文献 10被引用数 4

ひとこと要約

本稿では、映像データとカメラの高さのみを入力として用いることで、広角レンズを搭載した交通監視カメラの自動キャリブレーション手法を提示する。内蔵パラメータのキャリブレーションは等距離魚眼モデルを用い、外挿パラメータのキャリブレーションは直交する交差点における車両の軌跡から得られる消失点を用いる。焦点距離推定において平均6.35％の誤差を達成し、チェッカーボードキャリブレーションと比較して優れた補正性能を示した。

ABSTRACT

We propose a method for automatic calibration of a traffic surveillance camera with wide-angle lenses. Video footage of a few minutes is sufficient for the entire calibration process to take place. This method takes in the height of the camera from the ground plane as the only user input to overcome the scale ambiguity. The calibration is performed in two stages, 1. Intrinsic Calibration 2. Extrinsic Calibration. Intrinsic calibration is achieved by assuming an equidistant fisheye distortion and an ideal camera model. Extrinsic calibration is accomplished by estimating the two vanishing points, on the ground plane, from the motion of vehicles at perpendicular intersections. The first stage of intrinsic calibration is also valid for thermal cameras. Experiments have been conducted to demonstrate the effectiveness of this approach on visible as well as thermal cameras. Index Terms: fish-eye, calibration, thermal camera, intelligent transportation systems, vanishing points

研究の動機と目的

• 手動でのシーンアノテーションや3次元キャリブレーション装置を一切用いずに、広角レンズを搭載した交通監視カメラの自動キャリブレーションを可能にすること。
• カメラの高さのみをユーザー入力として用いることで、外挿パラメータのキャリブレーションにおけるスケールの曖昧さを解消すること。
• シーン固有の特徴や事前キャリブレーションデータに依存せず、レンズ歪みに強く、頑健な手法を開発すること。
• モーションベースのキャリブレーションを活用することで、熱画像カメラへの適用可能性を拡張すること。
• 速度監視、3次元再構築、車両追跡などの後続応用を可能にすること。

提案手法

• 内蔵パラメータのキャリブレーションは、等距離魚眼投影を用いた多項式ラジアル歪みモデルを採用し、車両軌跡の運動から歪み係数を推定する。
• 本手法は、正方形ピクセル、歪みなし、光学中心が画像中央にあるというピンホールカメラモデルを仮定し、内蔵行列の簡略化を図る。
• 外挿パラメータのキャリブレーションでは、直交する交差点における車両の運動から、地面平面上の2つの直交する消失点を推定する。
• 消失点は、軌跡方向のホフ空間におけるRANSACベースの投票により検出され、上位20％の投票を平均化し、標準偏差を用いることでロバストネスを向上させる。
• 回転行列はSVDを用いて修正され、直交性が保証され、並進ベクトルはカメラの高さを用いてスケールの曖昧さを解消する。
• 全プロセスは数分間の映像データで実行可能であり、ユーザー入力はカメラの高さのみを要する。

実験結果

リサーチクエスチョン

• RQ1 移動中の車両のみを用い、シーン固有のアノテーションを一切用いずに、広角カメラの内蔵パラメータキャリブレーションを自動で達成できるか？
• RQ2 交通シーンにおける車両軌跡から、消失点をどの程度正確に推定できるか？
• RQ3 提案手法は、従来のチェッカーボードキャリブレーションと比較して、歪み低減にどの程度効果的か？
• RQ4 可視光カメラと同等の性能で、熱画像カメラにも本手法を適用できるか？
• RQ5 遮蔽や直線でない車両の運動が生じる状況でも、キャリブレーションが頑健に機能するか？

主な発見

• 提案手法は、チェッカーボードキャリブレーションと比較して、焦点距離推定の平均誤差が6.35％にとどまり、内蔵パラメータキャリブレーションの高い精度を示した。
• キャリブレーション後の軌跡補正における平均二乗誤差（LSE）は、5つのデータセットのうち4つでチェッカーボードで得られた係数を上回り、0.006〜0.007にまで低下した。
• 本手法は視覚的に正確なトップビュー変換を生成し、平行な道路マーク、円形のマンホール、長方形の横断歩道が正しく再構築されており、外挿パラメータキャリブレーションの正確性を裏付けた。
• アルゴリズムは、同じモーションベースのアプローチを用いて熱画像カメラのキャリブレーションに成功し、可視光カメラに限らない応用可能性を実証した。
• ノイズに強く、車両密度が限られている状況でも、直交する方向に十分な数の車両が移動している限り、良好な性能を発揮した。
• 本手法は完全に自動化されており、数分間の映像とカメラの高さのみを必要とするため、実世界への導入に実用的である。