[論文レビュー] TartanCalib: Iterative Wide-Angle Lens Calibration using Adaptive SubPixel Refinement of AprilTags

Bardienus P Duisterhof, Yaoyu Hu+3 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

TartanCalib は、適応的サブピクセル補正と中間カメラモデルの再投影を用いて、極度に歪みの強い領域における特徴検出とサブピクセル補正を向上させる反復的広角レンズキャリブレーションパイプラインを提案する。これにより再投影誤差が最大26.59%低減され、Kalibr や他の最先端ツールに比べて特徴点を42.01%多く検出できる。その結果、高密度深度マッピングを含む下流タスクの性能が顕著に向上する。

ABSTRACT

Wide-angle cameras are uniquely positioned for mobile robots, by virtue of the rich information they provide in a small, light, and cost-effective form factor. An accurate calibration of the intrinsics and extrinsics is a critical pre-requisite for using the edge of a wide-angle lens for depth perception and odometry. Calibrating wide-angle lenses with current state-of-the-art techniques yields poor results due to extreme distortion at the edge, as most algorithms assume a lens with low to medium distortion closer to a pinhole projection. In this work we present our methodology for accurate wide-angle calibration. Our pipeline generates an intermediate model, and leverages it to iteratively improve feature detection and eventually the camera parameters. We test three key methods to utilize intermediate camera models: (1) undistorting the image into virtual pinhole cameras, (2) reprojecting the target into the image frame, and (3) adaptive subpixel refinement. Combining adaptive subpixel refinement and feature reprojection significantly improves reprojection errors by up to 26.59 %, helps us detect up to 42.01 % more features, and improves performance in the downstream task of dense depth mapping. Finally, TartanCalib is open-source and implemented into an easy-to-use calibration toolbox. We also provide a translation layer with other state-of-the-art works, which allows for regressing generic models with thousands of parameters or using a more robust solver. To this end, TartanCalib is the tool of choice for wide-angle calibration. Project website and code: http://tartancalib.com.

研究の動機と目的

• 広角レンズの極端に歪みの強い領域、特に画像端縁部における特徴検出の悪さとキャリブレーションの不正確さを解消すること。
• 低〜中程度の歪みを仮定する従来のキャリブレーションパイプラインが、極端な魚眼レンズでは前提を満たさないという限界を克服すること。
• 中間カメラモデルを活用して特徴検出と補正精度を向上させる、耐障害性の高い反復的キャリブレーションパイプラインを開発すること。
• 視覚オドメトリーや高密度深度マッピングを含む下流ロボットタスクの性能を向上させることで、歪みの強い端縁部を含む画像全体を信頼できる形で活用可能にすること。
• 既存ツール（Kalibr など）と統合可能で、汎用カメラモデルをサポートするオープンソースで使いやすいキャリブレーションツールボックスを提供すること。

提案手法

• パイプラインは、仮想ピンホールカメラに画像を非歪み化する処理と、中間カメラモデルを用いたキャリブレーションターゲットの再投影を交互に繰り返す反復的プロセスを採用する。
• 再投影されたターゲットのサイズに基づく適応的サブピクセル補正を適用し、歪みの度合いに応じて補正の感度を動的に調整する。
• 独自の適応的コーナーSubPix()メソッドにより、高歪み領域における特徴点の局所化精度を向上させ、歪みが極端な状況下で不安定になる対称性ベースの補正法を上回る。
• 中間モデルの再投影とサブピクセル補正を組み合わせることで、カメラパラメータ推定と特徴検出の精度を反復的に改善する。
• 翻訳レイヤーを介して Kalibr などの既存ツールボックスと統合可能であり、数千のパラメータを持つ汎用カメラモデルの回帰が可能になる。
• 最小限のハイパーパrameterチューニングで動作し、非反復ベースラインの2〜3倍の時間で実行可能な耐障害性の高いパイプラインとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 中間モデルの最適化を伴う反復的キャリブレーションは、極度に歪みの強い広角レンズ領域における特徴検出精度を向上させることができるか？
• RQ2 再投影されたターゲットサイズに基づく適応的サブピクセル補正は、極端な歪み状況下で従来のサブピクセル手法を上回る性能を示すか？
• RQ3 改善された特徴検出は、広角レンズキャリブレーションにおける再投影誤差をどの程度低減するか？
• RQ4 向上した特徴カバレッジと精度は、ステレオ深度マッピングなどの下流タスクにどのように影響を与えるか？
• RQ5 提案されたパイプラインは、大規模な変更なしに Kalibr などの既存キャリブレーションツールボックスに効果的に統合可能か？

主な発見

• TartanCalib は、Lensagon BF5M フィッシュアイレンズにおいて Kalibr と比較して全体の再投影誤差を最大26.59%低減し、誤差は 0.3297 px から 0.2630 px に低下した。
• 本手法は、特に高歪みの端縁部において、Kalibr よりも最大42.01%多くの特徴点を検出でき、特徴カバレッジが顕著に向上した。
• cornerSubPix() を用いた適応的サブピクセル補正は、歪みが極端な状況下で不安定になる対称性ベースの補正法を上回り、Lensagon BF5M データセットにおいて顕著な優位性を示した。
• 向上した特徴検出により、仮想ピンホールステレオペアを生成した際の不正確な視差マップが低減され、深度マッピングにおける下流性能の向上が実証された。
• TartanCalib は、最小限のハイパーパrameterチューニングとわずか2〜3倍の実行時間オーバーヘッドで、広角レンズ向けに最先端の特徴検出とキャリブレーション精度を達成した。
• オープンソースのツールボックスは Kalibr と互換性があり、汎用カメラモデルと強力なソルバーをサポートしており、広範な統合と利用が可能である。