[論文レビュー] Partial light field tomographic reconstruction from a fixed-camera focal stack

Antoine Mousnier, Elif Vural+1 more|arXiv (Cornell University)|Mar 6, 2015

Advanced Vision and Imaging参考文献 25被引用数 51

ひとこと要約

本稿では、1台の固定カメラが撮影したフォーカルスタックから高空間分解能の4次元光場を再構築する手法を提案する。フォーカスマップを推定し、それを深度マップに変換した後、深度から導かれるバックプロジェクション角度を用いたマスク付きバックプロジェクションを適用することで、正確なデジタルフォーカシング、拡張された焦点深度、そして現実的な視点シフトを実現する。本手法は特殊なハードウェアを必要とせず、高品質な光場レンダリングを達成する。

ABSTRACT

This paper describes a novel approach to partially reconstruct high-resolution 4D light fields from a stack of differently focused photographs taken with a fixed camera. First, a focus map is calculated from this stack using a simple approach combining gradient detection and region expansion with graph-cut. Then, this focus map is converted into a depth map thanks to the calibration of the camera. We proceed after this with the tomographic reconstruction of the epipolar images by back-projecting the focused regions of the scene only. We call it masked back-projection. The angles of back-projection are calculated from the depth map. Thanks to the high angular resolution we achieve by suitably exploiting the image content captured over a large interval of focus distances, we are able to render puzzling perspective shifts although the original photographs were taken from a single fixed camera at a fixed position.

研究の動機と目的

• 従来の光場カメラにおける空間分解能と角度分解能のトレードオフを解決すること。
• 複数の焦点距離を撮影した1台の固定カメラからの高分解能光場再構築を可能とすること。
• フォーカルスタック画像のみを用いて、現実的な視点シフトとデジタルフォーカシングを実現すること。
• フォーカルスタックスペクトルの平均化に依存する既存手法やカメラアレイを必要とする手法の制限を克服すること。
• 標準的なカメラを用いた高分解能光場イメージングの実用的でソフトウェアによるアップグレード可能なソリューションを提供すること。

提案手法

• グラフカット最適化を用いた勾配検出と領域拡張により、フォーカルスタックからフォーカスマップを計算する。
• 事前にキャリブレーションされたフォーカスパラメータと焦点距離の関係を用いて、フォーカスマップを深度マップに変換する。
• フォーカスマップに基づき、各フォーカルスタック画像における合焦領域を特定するマスクを生成する。
• マスク付きバックプロジェクションにより、エピポーラ画像としての光場を再構築する。この際、合焦領域のみをバックプロジェクションする。
• 再構築された光場における幾何的整合性を確保するため、深度マップからバックプロジェクション角度を導出する。
• 本手法は、各焦点画像が2次元投影であることに着目し、4次元トモグラフィック再構築の原則を活用する。

実験結果

リサーチクエスチョン

• RQ1 特殊なハードウェアを必要とせず、1台の固定カメラのフォーカルスタックから高角度分解能の4次元光場を再構築できるか？
• RQ2 複数の焦点面にまたがる合焦領域を正確に特定し、光場再構築に活用できるか？
• RQ3 深度から導かれる角度を用いたマスク付きバックプロジェクションは、スペクトル平均化手法と比較して、視点シフトおよびフォーカシング品質をどの程度向上できるか？
• RQ4 特に最初の画像が最も近い物体にフォーカスしている場合でも、フォーカルスタックのカバー範囲が限られている状況において、本手法は頑健に機能するか？
• RQ5 従来のカメラをソフトウェアによるアップグレードで、フォーカススイープを用いて高分解能光場レンダリングを可能にするか？

主な発見

• 本手法は、1台の固定カメラからのデータでさえも、現実的な視点シフトとデジタルフォーカシングを実現する光場を成功裏に再構築した。
• マスク付きバックプロジェクションにより、特に近距離の物体にフォーカスしている場合に顕著な「透過的」アーティファクトを示すスペクトル平均化手法と比較して、その問題を回避した。
• 広い焦点距離範囲にわたるコンテンツを活用することで、本手法は高角度分解能を達成し、奇妙な視点シフトを可能にした。
• フォーカルスタックのサイズが限られている場合でも本手法は頑健であり、Jokerデータセットでわずか5枚の画像でも効果的な再構築が可能であった。
• キャリブレーションにより、フォーカスパラメータと焦点距離の1対1対応関係を確立し、正確な深度マップの生成を可能にした。
• 本技術により、標準的なカメラハードウェアとソフトウェアのみで「クリックアンドフォーカス」機能と拡張された焦点深度レンダリングが実現した。