[論文レビュー] Single View Depth Estimation from Examples

Tal Hassner, Ronen Basri|arXiv (Cornell University)|Apr 14, 2013

Advanced Vision and Imaging参考文献 3被引用数 17

ひとこと要約

本稿では、3D形状データベースを活用して単一画像から深度を推定する非パrametricで例示ベースの手法を提案する。画像パッチをレンダリングされた例示的外観に一致させるための尤度関数のハード-EM最適化を用いることで、顔、手、魚、全身像など多様なオブジェクトクラスにわたる高精度な深度推定を実現する。また、動的な例示の更新と遮蔽された深度推定も可能である。

ABSTRACT

We describe a non-parametric, "example-based" method for estimating the depth of an object, viewed in a single photo. Our method consults a database of example 3D geometries, searching for those which look similar to the object in the photo. The known depths of the selected database objects act as shape priors which constrain the process of estimating the object's depth. We show how this process can be performed by optimizing a well defined target likelihood function, via a hard-EM procedure. We address the problem of representing the (possibly infinite) variability of viewing conditions with a finite (and often very small) example set, by proposing an on-the-fly example update scheme. We further demonstrate the importance of non-stationarity in avoiding misleading examples when estimating structured shapes. We evaluate our method and present both qualitative as well as quantitative results for challenging object classes. Finally, we show how this same technique may be readily applied to a number of related problems. These include the novel task of estimating the occluded depth of an object's backside and the task of tailoring custom fitting image-maps for input depths.

研究の動機と目的

• 単一視点深度推定の不適切な性質に対処するため、3D例示形状データベースからの形状事前分布を活用すること。
• パラメトリックな仮定なしに、手、装飾的な魚、非剛体な身体など挑戦的なオブジェクトクラスの深度推定を可能にすること。
• 無限の視点条件に対応するため、再構成中に例示セットを動的に更新するメカニズムを構築すること。
• 遮蔽された背面深度の推定や、入力深度用のカスタム画像マップの生成といった関連タスクへの拡張を可能にすること。
• 外観の一貫性と深度の妥当性の両立を図る尤度ベース最適化フレームワークを形式化すること。

提案手法

• 本手法は、画像パッチを3D例示形状のレンダリング外観に一致させることで、パッチ単位で深度推定を実行する。
• 外観と既知の例示深度の両方をバランスさせる明確に定義された尤度関数を最適化するためのハード-EM手順を用いる。
• 再構成中に未確認の視点条件やポーズをカバーするため、動的に新しい例示外観をオンザフライで生成する。
• 構造的な形状のためのマッチングの誤りを回避し、耐性を高めるために、例示選択プロセスに非定常性を導入する。
• 深さ、高周波成分、YCbCr、相対的位置といったマルチスケール特徴を、学習された重みを用いて外観マッチングに統合する。
• 同じ外観-深度マッピングフレームワークを再利用することで、背面深度推定やテクスチャマッピングといった追加応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな仮定なしに、特定の照明、表面、シーン特性を仮定しない非パラメトリックで例示ベースのアプローチが、正確な単一視点深度推定を達成できるか？
• RQ2 有限の3D例示セットが、単一画像内の無限の視点条件や新しいオブジェクトポーズに一般化できるか？
• RQ3 非定常性は、構造的な形状のための例示選択を改善し、深度の曖昧さを回避する上で果たす役割は何か？
• RQ4 同じフレームワークを、遮蔽された深度の推定や、新しい深度入力用のカスタム画像マップの生成に拡張できるか？
• RQ5 本手法は、魚や全身像のように非剛体で高密度に装飾されたオブジェクトクラスにおいて、定量的にどの程度の性能を示すか？

主な発見

• 本手法は、顔、手、魚、全身像など多様なオブジェクトクラスにおいて、定性的および定量的な検証を通じて高精度な深度推定を達成した。
• 人間およびブัสデータセットでは、1回の処理で12枚の例示画像を使用し、2.8GHz Pentium 4で200×150サイズの画像に対して約7.5分の実行時間であった。
• 本手法は、テクスチャおよびポーズの変動に対して頑健であり、複雑な形状の高密度装飾魚の深度推定にも成功した。
• オンザフライでの例示更新スキームにより一般化性能が著しく向上し、以前に見られなかった視点条件のカバーが可能になった。
• 本手法は、遮蔽された背面領域の深度推定にも成功し、標準的な深度推定を超えた実用性を示した。
• 失敗の主な原因は、データベースの画像マップにおける色の不一致（ブัส）または異常な入力深度（魚）であり、外観の不一致と入力品質に感受性があることが示された。