[論文レビュー] Waterdrop Stereo

Shaodi You, Robby T. Tan+3 more|arXiv (Cornell University)|Apr 4, 2016

Advanced Vision and Imaging参考文献 26被引用数 8

ひとこと要約

本稿では、ガラスに付着した複数の水滴を自然なファイッシュアイレンズとして用いる、新しい深度推定手法を提案する。凸形状と全反射の特性を活用することで、ステレオに類似した深度認識を実現する。水滴の幾何学的形状をエネルギー最小化によりモデル化し、画像の補正に後退レイトラシングを適用することで、単一の画像から高精度な深度推定と画像のフォーカス調整が可能となる。

ABSTRACT

This paper introduces depth estimation from water drops. The key idea is that a single water drop adhered to window glass is totally transparent and convex, and thus optically acts like a fisheye lens. If we have more than one water drop in a single image, then through each of them we can see the environment with different view points, similar to stereo. To realize this idea, we need to rectify every water drop imagery to make radially distorted planar surfaces look flat. For this rectification, we consider two physical properties of water drops: (1) A static water drop has constant volume, and its geometric convex shape is determined by the balance between the tension force and gravity. This implies that the 3D geometric shape can be obtained by minimizing the overall potential energy, which is the sum of the tension energy and the gravitational potential energy. (2) The imagery inside a water-drop is determined by the water-drop 3D shape and total reflection at the boundary. This total reflection generates a dark band commonly observed in any adherent water drops. Hence, once the 3D shape of water drops are recovered, we can rectify the water drop images through backward raytracing. Subsequently, we can compute depth using stereo. In addition to depth estimation, we can also apply image refocusing. Experiments on real images and a quantitative evaluation show the effectiveness of our proposed method. To our best knowledge, never before have adherent water drops been used to estimate depth.

研究の動機と目的

• 付着した水滴を用いたガラス表面がステレオビジョン用の自然な深度センシング素子として利用可能かどうかを検討すること。
• 水滴の光学的特性を活用して、単一の画像から深度を抽出する課題に取り組むこと。
• 水滴の形状を物理的モデリングにより回復させ、その形状に基づいて光学パスを逆方向にたどることで、径方向歪みを含む水滴画像を平面的な視点に補正する手法を開発すること。
• 同じフレームワークを用いて、深度推定と画像のフォーカス調整を両立させること。

提案手法

• 体積を一定と仮定し、表面張力エネルギーと重力ポテンシャルエネルギーの和を最小化することで、水滴の3次元形状をモデル化する。
• 水とガラスの界面での全反射を利用して暗い帯を特定し、3次元形状推定の制約に活用する。
• 回復した水滴の3次元形状を基に、補正済み画像空間から3次元世界への後退レイトラシングを適用する。
• 回復した水滴の3次元形状に基づいて、光学パスを逆方向にたどることで、各水滴の歪みのある画像を平面的で歪みのない平面視点に補正する。
• 各補正済み水滴画像を異なる視点として扱い、ステレオ深度計算を可能にする。
• 補正済みのマルチビュー画像を用いて、異なる焦点面を模擬することで、画像のフォーカス調整を実現する。

実験結果

リサーチクエスチョン

• RQ1 付着した水滴をガラスに用いることで、単一の画像から深度推定が可能になる自然なファイッシュアイレンズとして機能するか？
• RQ2 エネルギー最小化の物理的原則を用いて、水滴の3次元幾何的形状をどれほど正確に回復できるか？
• RQ3 回復した形状に基づく後退レイトラシングによって、水滴画像の径方向歪みはどの程度効果的に補正可能か？
• RQ4 複数の水滴を独立した視点として用いることで、ステレオ深度推定を効果的に行えるか？
• RQ5 同じフレームワークが、深度推定に加えて画像のフォーカス調整をサポートできるか？

主な発見

• 提案手法は、表面張力と重力ポテンシャルエネルギーの和を最小化することで、水滴の3次元形状を効果的に回復できた。
• 全反射による暗い帯は一貫して観測され、形状推定の精度向上に寄与した。
• 後退レイトラシングにより、径方向歪みを含む水滴画像の補正が効果的に実現され、平面視点に変換された。
• 複数の水滴を独立した視点として用いることで、ステレオによる深度推定が達成され、定量的な結果から有効性が示された。
• 本手法は画像のフォーカス調整も可能であり、深度推定を超えたフレームワークの多様性を示した。
• 実画像を用いた実験により、本手法の実現可能性と有効性が確認された。本研究の前例として、水滴を用いた深度推定に関する先行研究は存在しない。