[論文レビュー] Blur Aware Calibration of Multi-Focus Plenoptic Camera

Mathieu Labussière, Céline Teulière+2 more|arXiv (Cornell University)|Apr 16, 2020

Image Processing Techniques and Applications参考文献 33被引用数 15

ひとこと要約

本論文は、raw画像のみを用いて、マルチフォーカスプレノプティックカメラ（MFPCs）のための1段階キャリブレーション手法を提案する。新規のブラー・アウェア・プレノプティック（BAP）特徴量を導入し、マイクロレンズの焦点距離およびぼかし特性をモデル化する。本手法は、BAP特徴量を前処理ステップに用いてロバストな初期化を実現し、一元化された最適化フレームワークにより、内在パラメータと外在パラメータを同時に推定する。その結果、サブピクセルレベルの再投影誤差とミリメートルレベルのポーズ精度を達成した。

ABSTRACT

This paper presents a novel calibration algorithm for Multi-Focus Plenoptic Cameras (MFPCs) using raw images only. The design of such cameras is usually complex and relies on precise placement of optic elements. Several calibration procedures have been proposed to retrieve the camera parameters but relying on simplified models, reconstructed images to extract features, or multiple calibrations when several types of micro-lens are used. Considering blur information, we propose a new Blur Aware Plenoptic (BAP) feature. It is first exploited in a pre-calibration step that retrieves initial camera parameters, and secondly to express a new cost function for our single optimization process. The effectiveness of our calibration method is validated by quantitative and qualitative experiments.

研究の動機と目的

• 複数のマイクロレンズ焦点距離を扱える統合的キャリブレーション手法が不足しているマルチフォーカスプレノプティックカメラ（MFPCs）の課題に対処すること。
• 再構成画像や異なるマイクロレンズタイプごとの複数のキャリブレーションプロセスに依存することを排除すること。
• raw画像空間で直接ぼかし情報を活用することで、キャリブレーションのロバスト性と精度を向上させること。
• 再構成画像を一切使用せず、rawプレノプティック画像のみを用いた、完全で一括最適化によるMFPCキャリブレーションパイプラインを提供すること。

提案手法

• raw画像空間に定義された新規のブラー・アウェア・プレノプティック（BAP）特徴量を提案。コーン位置とぼかし半径を組み合わせてマイクロレンズ応答を表現する。
• 白色画像を用いた前処理ステップを導入し、BAP特徴量の線形フィッティングにより初期内在パラメータを推定する。
• MLAのずれ、径方向および接線歪み、複数のマイクロレンズ焦点距離を考慮した新しい投影モデルを構築する。
• 非線形最適化に用いるため、コーン位置とぼかし半径の両成分を組み合わせた統一された再投影誤差関数を設計する。
• 非線形最適化を用いて、raw画像からの内在パラメータと外在パラメータを同時に精緻化する1段階キャリブレーションを実行する。
• 正確な幾何補正を実現するため、径方向および接線成分を有する修正版ブラウン＝コンレイレンズ歪みモデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 rawマイクロ画像内のぼかし情報は、再構成を伴わずにMFPCのキャリブレーションに効果的に活用可能か？
• RQ2 複数のマイクロレンズタイプを有するMFPCに対して、1つの最適化プロセスで内在パラメータと外在パラメータを同時に推定可能か？
• RQ3 提案手法のBAP特徴量は、従来手法と比較してキャリブレーションのロバスト性と精度をどのように向上させるか？
• RQ4 本手法は、raw画像から直接マイクロレンズ焦点距離およびその他のパラメータをどの程度正確に回復できるか？

主な発見

• 提案手法は、全データセットにおいてコーン特徴量の平均再投影誤差が0.886ピクセル（RMSE）、ぼかし半径特徴量の平均誤差が0.075ピクセルを達成した。
• z軸方向の相対的並進誤差は平均3.33%、標準偏差1.36%であり、[20]および特許ソフトウェアRxLiveを上回った。
• 焦点距離および幾何に関するパラメータmの推定誤差は平均1.36%であり、最適化された値の1%未満に収まり、高いメトリック精度を確認した。
• 本手法はデータセット間で一貫した焦点距離推定値を提供し、F、d、∆Cパラメータの乖離が小さかった。これに対して[20]やRxLiveでは顕著な差が見られた。
• 最適化パラメータが初期値に近く収束することが確認され、BAP前処理ステップによるロバストな初期化が有効であることが示された。
• 再構成画像を必要とせず、各レンズタイプごとの別々のキャリブレーションを実施せずとも、マイクロレンズ焦点距離およびその他のパラメータを正常に回復できた。