[論文レビュー] Learning-Based Framework for Camera Calibration with Distortion Correction and High Precision Feature Detection

Yesheng Zhang, Xu Zhao+1 more|arXiv (Cornell University)|Feb 1, 2022

Optical measurement and interference techniques被引用数 7

ひとこと要約

本稿では、径方向歪み補正、外れ値除去およびコリネーション後処理を伴うヒートマップ学習によるサブピクセルチェスボードコーナー検出、および画像レベルのRANSACを用いた安定なパrameter推定を統合する学習ベースのカメラキャリブレーションフレームワークを提案する。本手法は、合成データおよび実データの両方において、最先端の手法よりも高い精度と頑健性を達成する。

ABSTRACT

Camera calibration is a crucial technique which significantly influences the performance of many robotic systems. Robustness and high precision have always been the pursuit of diverse calibration methods. State-of-the-art calibration techniques based on classical Zhang's method, however, still suffer from environmental noise, radial lens distortion and sub-optimal parameter estimation. Therefore, in this paper, we propose a hybrid camera calibration framework which combines learning-based approaches with traditional methods to handle these bottlenecks. In particular, this framework leverages learning-based approaches to perform efficient distortion correction and robust chessboard corner coordinate encoding. For sub-pixel accuracy of corner detection, a specially-designed coordinate decoding algorithm with embed outlier rejection mechanism is proposed. To avoid sub-optimal estimation results, we improve the traditional parameter estimation by RANSAC algorithm and achieve stable results. Compared with two widely-used camera calibration toolboxes, experiment results on both real and synthetic datasets manifest the better robustness and higher precision of the proposed framework. The massive synthetic dataset is the basis of our framework's decent performance and will be publicly available along with the code at https://github.com/Easonyesheng/CCS.

研究の動機と目的

• カメラキャリブレーションにおける不正確なコーナー検出、径方向レンズ歪み、不安定なパrameter推定という長年の課題に取り組む。
• CNNベースのヒートマップ予測とガウス面フィッティング、外れ値除去を組み合わせることで、サブピクセルコーナー局所化の精度を向上させる。
• 事前に学習された大規模な合成データセットを用いたCNNを活用し、コーナー検出の前段階で補正パラメータを推定することで、径方向歪みを補正する。
• 再投影誤差に基づく画像レベルのRANSAC手順を導入することで、外れ値への感受性を低減し、パrameter推定の安定性を向上させる。
• 高精度なロボット工学および医療用途に適した、歪み補正、正確な特徴検出、頑健なキャリブレーションを統合した一貫性のあるエンドツーエンドフレームワークを開発する。

提案手法

• 実用的な歪みモデルを用いて、歪みのあるチェスボード画像から径方向歪み補正パラメータを直接予測するためのCNNを学習する。
• 各コーナーを真値のサブピクセル位置を中心とするガウス分布としてモデル化したヒートマップ表現を設計し、監視に用いる。
• 入力画像からヒートマップを回帰するための深層CNNを用い、その後ガウス面フィッティングを適用してコーナー位置をサブピクセル精度に精緻化する。
• 分布に依存する外れ値除去を実施し、異常なヒートマップ分布に基づいて信頼性の低い検出をフィルタリングする。
• チェスボードパターンにおける直線のコリネーションを活用して、検出されたコーナー間の幾何学的整合性を強制することで、コリネーション後処理を実施する。
• 全検出コーナーの再投影誤差を評価する画像レベルのRANSACアルゴリズムを統合し、最適なカメラモデルを選択することで、パrameter推定の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノイズや歪みの影響を受ける中で、ディープラーニングベースのアプローチがピクセル単位の精度を上回るサブピクセルコーナー検出精度を実現できるか？
• RQ2 明示的な幾何学的事前知識なしに、CNNが効果的に径方向レンズ歪みを学習し補正できるか？
• RQ3 外れ値除去および幾何学的後処理を統合することで、困難な撮影条件下におけるコーナー検出の頑健性がどのように向上するか？
• RQ4 簡素化された画像レベルのRANSAC手順は、純粋な代数的最適化と比較して、カメラパラメータ推定の安定性と精度を著しく向上できるか？
• RQ5 歪み補正、正確な特徴検出、頑健な推定を統合した統合フレームワークは、既存の最先端のキャリブレーション手法を上回る性能を示せるか？

主な発見

• ヒートマップ学習とガウスフィッティング、外れ値除去を組み合わせた本手法は、先行するCNNベースの手法を上回る優れたサブピクセルコーナー検出精度を達成する。
• CNNベースの歪み補正は、歪みが強い画像においてもより正確なコーナー検出を可能にする。
• 分布に依存する外れ値除去ステップは、異常なヒートマップ形状を示す信頼性の低い検出を効果的に同定・除外し、検出の信頼性を向上させる。
• コリネーション後処理ステップは、幾何学的整合性を強制することでコーナー座標を精緻化し、さらに精度を向上させる。
• 画像レベルのRANSAC手順は、全コーナーの再投影誤差を最小化することで、カメラパラメータ推定の安定性を著しく向上させる。
• 合成データおよび実データの両方において、本フレームワークは最先端の手法よりも高い精度とより高い頑健性を示し、定量的評価では再投影誤差の平均および標準偏差が改善されている。