[論文レビュー] Fisheye Distortion Rectification from Deep Straight Lines

Zhucun Xue, Nan Xue+1 more|arXiv (Cornell University)|Mar 25, 2020

Optical measurement and interference techniques参考文献 44被引用数 12

ひとこと要約

本稿では、3次元の直線が画像に投影されても直線のままであるという幾何的制約を活用して、魚眼歪みを補正する深層学習フレームワーク、LaRecNetを提案する。本手法は、歪んだ線分の認識、マルチスケールキャリブレーション、微分可能な補正、不確実性正則化を備えたライン認識ネットワークを用い、新しい合成ライン豊富な魚眼データセット上で平均再投影誤差0.33ピクセルの最先端性能を達成した。

ABSTRACT

This paper presents a novel line-aware rectification network (LaRecNet) to address the problem of fisheye distortion rectification based on the classical observation that straight lines in 3D space should be still straight in image planes. Specifically, the proposed LaRecNet contains three sequential modules to (1) learn the distorted straight lines from fisheye images; (2) estimate the distortion parameters from the learned heatmaps and the image appearance; and (3) rectify the input images via a proposed differentiable rectification layer. To better train and evaluate the proposed model, we create a synthetic line-rich fisheye (SLF) dataset that contains the distortion parameters and well-annotated distorted straight lines of fisheye images. The proposed method enables us to simultaneously calibrate the geometric distortion parameters and rectify fisheye images. Extensive experiments demonstrate that our model achieves state-of-the-art performance in terms of both geometric accuracy and image quality on several evaluation metrics. In particular, the images rectified by LaRecNet achieve an average reprojection error of 0.33 pixels on the SLF dataset and produce the highest peak signal-to-noise ratio (PSNR) and structure similarity index (SSIM) compared with the groundtruth.

研究の動機と目的

• 3次元のキャリブレーションパターンや手動による2次元-3次元対応点に依存せずに、魚眼歪み補正の課題に取り組むこと。
• 3次元の直線が2次元の画像でも直線のままであるという幾何的不変性を、深層学習の教師信号として活用すること。
• 単一の魚眼画像から歪みパラメータを同時に推定し、画像を補正する自己教師型でエンドツーエンドで学習可能なモデルを開発すること。
• 不確実性を考慮した監視とマルチスケール特徴学習を組み合わせることで、実世界の設定におけるロバスト性と精度を向上させること。

提案手法

• 歪んだ線分認識（DLP）モジュールは、学習されたヒートマップを用いて魚眼画像からの歪んだ線分を検出し、符号化する。
• マルチスケールキャリブレーションモジュールは、複数の受容場の特徴を統合することで歪みパラメータを推定し、非線形歪みに対してよりロバストになるようにする。
• 微分可能な補正レイヤーは、予測された歪みパラメータを用いて空間変換を実行し、補正プロセスの逆誤差伝搬を可能にする。
• 注意型不確実性正則化（AUR）モジュールは、不確実性マップを生成してピクセル単位の損失をガイドし、ノイズが多いまたは不正確な線分アノテーションの影響を低減する。
• ネットワークは、画像の外観と学習された線分幾何から得られる監視のもと、幾何的損失（L_geo）とピクセルレベル損失（L_pix）の組み合わせを用いて学習される。
• 教師あり学習と評価を可能にするために、真値の歪みパラメータと正確な線分アノテーションを備えた合成ライン豊富な魚眼（SLF）データセットが作成された。

実験結果

リサーチクエスチョン

• RQ1 魚眼画像内の直線から得られる明示的な幾何的制約を、歪み補正のための深層学習モデルに効果的に埋め込むことができるか？
• RQ2 深層ネットワークが、エンドツーエンドで微分可能である形で、歪みパラメータの推定と画像補正を同時に実行できるか？
• RQ3 学習された線分ヒートマップと画像外観が、補正精度の向上にどの程度相補的に機能するか？
• RQ4 線分アノテーションにノイズや不完全さがある状況でも、不確実性を考慮した監視が性能向上に寄与するか？
• RQ5 提案手法は、トレーニング時に見られなかった実世界の魚眼画像に対しても、どの程度一般化できるか？

主な発見

• LaRecNetは、SLFデータセット上で平均再投影誤差0.33ピクセルという最先端の性能を達成し、既存手法を大きく上回った。
• PSNRが28.46、構造的類似性指数（SSIM）が0.90という最高値を記録し、優れた画像品質と構造的忠実性を示した。
• アブレーションスタディにより、画像外観と学習された線分ヒートマップを組み合わせることで最良の性能が得られ、さまざまな学習戦略においてPSNRが16.24から28.46に向上した。
• マルチスケールキャリブレーションモジュールは、特に重度の非線形歪みに対処する上で補正精度を向上させ、定性的および定量的な改善が確認された。
• 幾何的損失（L_geo）と不確実性正則化は、再投影誤差を顕著に低減し、構造的一致性を向上させたことが、SSIMおよびRPE指標の改善から裏付けられた。
• モデルは、インターネットから得た実際の魚眼画像に対しても良好に一般化し、微調整なしで強力なロバスト性を示し、実世界への展開可能性を示した。