[論文レビュー] Image and Depth from a Single Defocused Image Using Coded Aperture Photography

Mina Masoudifar, Hamid Reza Pourreza|arXiv (Cornell University)|Mar 13, 2016

Image Processing Techniques and Applications参考文献 30被引用数 3

ひとこと要約

本論文は、1枚のぼんやりした画像から同時に深度推定と画像のぼかし除去を実現する1つの非対称符号化アパーチャー・パターンを提案する。照明およびシステム制約を考慮した多目的関数を最適化することで、画像品質評価を用いて前後焦点のぼかしを区別し、シミュレーションおよび実世界の実験において、従来の符号化アパーチャー設計に比べてより高い深度精度とより明確な再構成を達成する。

ABSTRACT

Depth from defocus and defocus deblurring from a single image are two challenging problems that are derived from the finite depth of field in conventional cameras. Coded aperture imaging is one of the techniques that is used for improving the results of these two problems. Up to now, different methods have been proposed for improving the results of either defocus deblurring or depth estimation. In this paper, a multi-objective function is proposed for evaluating and designing aperture patterns with the aim of improving the results of both depth from defocus and defocus deblurring. Pattern evaluation is performed by considering the scene illumination condition and camera system specification. Based on the proposed criteria, a single asymmetric pattern is designed that is used for restoring a sharp image and a depth map from a single input. Since the designed pattern is asymmetric, defocus objects on the two sides of the focal plane can be distinguished. Depth estimation is performed by using a new algorithm, which is based on image quality assessment criteria and can distinguish between blurred objects lying in front or behind the focal plane. Extensive simulations as well as experiments on a variety of real scenes are conducted to compare our aperture with previously proposed ones.

研究の動機と目的

• 有限の焦点深度を持つ従来のカメラの限界を克服し、1枚のぼんやりした画像から同時に深度推定と画像のぼかし除去を可能にする。
• 深度からぼかしを推定し、ぼかしの除去性能を向上させる最適化された符号化アパーチャー・パターンを設計する。
• 従来のアパーチャー・パターンの対称性の制限を克服し、焦点面の両側のぼかしを区別できる非対称設計を導入する。
• 画像品質評価基準に基づく深度推定アルゴリズムを開発し、焦点面の前後にある物体を区別する。
• シミュレーションおよび実際の実験を通じて、さまざまなシーンの照明条件およびカメラシステム条件の下で、提案手法を評価する。

提案手法

• 深度推定の精度と画像のぼかし除去の質の両方をバランスさせるために、アパーチャー・パターンの評価と設計を目的とした多目的関数を定式化する。
• シーンの照明およびカメラシステム仕様を考慮してアパーチャー・パターンを最適化し、現実的な条件下での性能を最大化する。
• 焦点面の前後にある物体に対して異なる点 spread 関数（PSF）を生成できる非対称符号化アパーチャーを設計する。
• 画像品質指標を用いてぼかしの特徴を分析し、焦点面からの相対的な深度順序を特定する、新しい深度推定アルゴリズムを提案する。
• 非対称PSF応答を活用して深度を明確に特定し、1枚の画像から正確な深度マップを回復可能にする。
• 広範なシミュレーションおよび多様なシーンにおける実世界の実験を通じて、既存の符号化アパーチャー手法と比較して手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 1枚の符号化アパーチャー・パターンを設計することで、ぼかしからの深度推定とぼかしの除去性能を同時に向上させることは可能か？
• RQ2 非対称アパーチャー・パターンは、焦点面の前後にある物体を区別する能力をどのように向上させるか？
• RQ3 画像品質評価基準は、ぼんやりした画像における深度推定精度をどの程度向上させることができるか？
• RQ4 照明条件やカメラシステム条件の変化に対して、提案手法は従来の手法と比較してどの程度の性能を示すか？
• RQ5 提案された符号化アパーチャー設計によって、深度精度および画像のシャープネスは定量的にどの程度向上するか？

主な発見

• 提案された非対称符号化アパーチャーは、焦点面の前後にある物体を明確に区別できるようにすることで、深度推定精度を顕著に向上させる。
• シミュレーションおよび実世界の実験の両方で、従来の符号化アパーチャー技術に比べて優れた画像のぼかし除去性能を達成する。
• 多目的最適化フレームワークは、さまざまなシーンおよびシステム条件の下でも、深度推定とぼかしの除去の両方の目的をうまくバランスさせる。
• 画像品質評価に基づく深度推定アルゴリズムは、ぼかしの特徴を効果的に区別し、1枚のぼんやりした画像から正確な深度マップを生成する。
• 広範な評価結果から、提案手法は、深度精度および画像再構成品質の観点で、以前に発表された符号化アパーチャー設計を上回ることが示された。
• さまざまな実際のシーンおよび照明条件下でも、本手法は頑健であり、1枚の画像からの深度およびぼかしの除去回復の実用的妥当性を示している。