[論文レビュー] Learning to Calibrate Straight Lines for Fisheye Image Rectification

Zhucun Xue, Nan Xue+2 more|arXiv (Cornell University)|Apr 22, 2019

Optical measurement and interference techniques参考文献 32被引用数 12

ひとこと要約

本稿では、歪みのある線が補正後に直線になるという幾何的制約を活用して、魚眼レンズの内在パラメータを同時に補正し、歪んだ画像を補正する深層学習手法を提案する。この手法は、ライン誘導型パrameter推定モジュール、歪んだ線の認識モジュール、微分可能補正層を備えたマルチスケールでエンドツーエンドのニューラルネットワークであり、合成および実画像の両方で再投影誤差が0.5ピクセル未満、PSNRが27.61に達する最先端の性能を達成した。

ABSTRACT

This paper presents a new deep-learning based method to simultaneously calibrate the intrinsic parameters of fisheye lens and rectify the distorted images. Assuming that the distorted lines generated by fisheye projection should be straight after rectification, we propose a novel deep neural network to impose explicit geometry constraints onto processes of the fisheye lens calibration and the distorted image rectification. In addition, considering the nonlinearity of distortion distribution in fisheye images, the proposed network fully exploits multi-scale perception to equalize the rectification effects on the whole image. To train and evaluate the proposed model, we also create a new largescale dataset labeled with corresponding distortion parameters and well-annotated distorted lines. Compared with the state-of-the-art methods, our model achieves the best published rectification quality and the most accurate estimation of distortion parameters on a large set of synthetic and real fisheye images.

研究の動機と目的

• 手動で作成されたキャリブレーションパターンを必要とせず、魚眼レンズの内在パラメータを同時に推定し、歪んだ画像を補正するエンドツーエンドの深層学習手法の開発を目的とする。
• 現実世界の直線が魚眼投影によって歪んだ後でも、補正後に直線として再投影されるという幾何的制約を活用する。
• 歪んだ画像内で幾何的オブジェクト（例えば、円錐曲線や直線）を検出する手法に依存する従来手法の限界を克服する。これは、歪みのある画像でこれらの検出自体が困難であるためである。
• ネットワークアーキテクチャにマルチスケール認識と曲率制約を組み込むことで、歪みの強度が異なる領域における補正品質と歪みパラメータ推定の精度を向上させる。
• 学習と評価のための、注釈付きの歪んだ線と真値の歪みパラメータを備えた大規模な合成データセットの作成を目的とする。

提案手法

• ネットワークは主に3つのモジュールから構成される：補正後に直線になると予想される線を特定する歪んだ線検出モジュール、マルチスケール認識を用いてグローバルおよびローカルな歪みパラメータを推定するライン誘導型パrameter推定（LPE）モジュール、推定されたパラメータを用いて歪みを補正する微分可能補正層。
• LPEモジュールは、元のRGB魚眼画像と歪んだ線の検出マップを入力とし、画像のコンテンツと線構造の両方から幾何に敏感な特徴を学習できるように設計されている。
• 訓練中に曲率制約（CVC）が適用され、検出された歪んだ線が補正出力で直線に変換されることを保証する。これにより、幾何的事前知識が損失関数に直接埋め込まれる。
• マルチスケール認識（MSP）は、魚眼画像全体にわたる非一様な歪み分布に対処するため、LPEモジュールに統合されており、中央部および周辺部の両方で、より高いロバスト性と精度を実現する。
• 歪みパラメータのためのマルチスケール認識損失と、線補正のための曲率制約損失を組み合わせた複合損失関数を用いて、ネットワーク全体をエンドツーエンドで訓練する。
• 既知の魚眼投影モデルを用いて、[17]のデータセットに含まれるワイヤフレームシーンを歪ませることで、大規模な合成データセットを新たに作成した。このデータセットには、真値の歪みパラメータと注釈付きの歪んだ線が含まれている。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、補正後に直線になるはずの歪んだ線を、魚眼画像内で効果的に検出できるか？
• RQ2 具体的には、線の直線性の維持という幾何的制約を、魚眼キャリブレーションおよび補正のための深層学習モデルに効果的に埋め込めるか？
• RQ3 マルチスケール認識は、歪みの強度が異なる領域における歪みパラメータ推定の精度を向上させるか？
• RQ4 分離された検出または最適化ステップに依存する従来手法と比較して、1つのエンドツーエンドネットワークが、優れた補正品質とパrameter推定精度を達成できるか？
• RQ5 RGB入力とラインマップ入力の組み合わせが、幾何的忠実性と視覚的品質の両面でネットワークの性能にどのように影響を与えるか？

主な発見

• 提案手法はテストセットで再投影誤差（RPE）が0.4761ピクセルを達成し、比較手法すべてを大きく下回っており、1ピクセル未満であるため、歪みパラメータ推定の高精度を示している。
• テストセットではPSNRが27.61、SSIMが0.8746を達成し、画像品質と構造的保存性の両面で、すべての最先端手法を上回った。
• アブレーションスタディの結果、曲率制約（CVC）またはマルチスケール認識（MSP）を削除すると、補正が不安定になり、RPEはそれぞれ4.326および3.175に上昇した。これにより、両モジュールの重要性が明確になった。
• RGB＋ラインマップの4次元入力を持つモデルが最良の性能を示し、PSNRが27.61、RPEが0.4761であった。RGBのみ（PSNR 21.35）やラインマップのみ（PSNR 22.41）のモデルよりも優れている。
• 本手法は実魚眼画像に対しても良好に一般化され、真値のカメラパラメータがなくても視覚的に優れた補正結果を達成しており、強力な一般化能力を確認した。
• D-WireframeやFish-SUNCGなどの多様なデータセットを用いた実験により、フルフレーム、フルサークル、ドラム投影など、さまざまな魚眼タイプに対しても性能が安定しており、ネットワークの汎用性が裏付けられた。