[論文レビュー] Characterizing Ambiguity in Light Source Invariant Shape from Shading

Benjamin Kunsberg, Steven W. Zucker|arXiv (Cornell University)|Jun 23, 2013

Computer Graphics and Visualization Techniques参考文献 34被引用数 9

ひとこと要約

本稿では、光源方向に依存しない2次画像微分を導出することによって、表面の曖昧性を特徴付ける微分幾何的アプローチを形状から明るさを推定する手法として提案する。共変微分を用いた明るさの流れ場の分析により、照明に依存しない表面特性を分離し、光源方向やアルベドに関する事前仮定なしに局所的な表面再構成を可能にする。

ABSTRACT

Shape from shading is a classical inverse problem in computer vision. This shape reconstruction problem is inherently ill-defined; it depends on the assumed light source direction. We introduce a novel mathematical formulation for calculating local surface shape based on covariant derivatives of the shading flow field, rather than the customary integral minimization or P.D.E approaches. On smooth surfaces, we show second derivatives of brightness are independent of the light sources and can be directly related to surface properties. We use these measurements to define the matching local family of surfaces that can result from any given shading patch, changing the emphasis to characterizing ambiguity in the problem. We give an example of how these local surface ambiguities collapse along certain image contours and how this can be used for the reconstruction problem.

研究の動機と目的

• 未知の光源方向によって引き起こされる形状から明るさ推定における本質的曖昧性を解消すること。
• 光源配置に依存しない画像微分を分離する数学的枠組みを構築すること。
• 照明状態にかかわらず、与えられた明るさパッチと整合する局所的表面の族を特徴付けること。
• 境界における曲率などの局所的幾何的制約を用いて、曖昧性を低減することで形状再構成を可能にすること。
• 各画像パッチが可能な（表面、光源）ペアの集合に対応するファイバー束問題として表面推定をモデル化すること。

提案手法

• 等光度線に接する方向の明るさの流れ場の共変微分を用い、光源方向に依存しない2次画像微分を導出する。
• 表面接ベクトルに沿った方向微分を用いて、画像放射照度の2次微分（I_{uv}, I_{vv}）の式を導出する。
• 微分幾何学を用いて、画像微分と表面法線の変化、および第二基本形式の成分を関係付ける。
• V1皮質の方向選択性を持つ柱状構造に類似した、等光度線の画像への挙上（lifting）を導入する。
• 形状から明るさ推定問題を、可能な（表面、光源）ペアのファイバー束から切断を選択する問題としてモデル化する。
• クリストッフェル記号と計量テンソルを用いて、座標に依存しない形で曲率項を表現し、局所的表面特徴の堅牢な特定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 光源方向の変化に対して不変となる画像微分は何か、そしてそれらをどのようにして表面形状の推定に用いることができるか？
• RQ2 光源やアルベドに関する事前知識を仮定せずに、形状から明るさの曖昧性をどのようにパrameter化できるか？
• RQ3 境界における局所的幾何的制約（例：曲率）は、複数の可能な表面の族をどのように収縮させるか？
• RQ4 V1における方向選択性を持つ柱状構造の神経機構を、フィードフォワード形状推定パイプラインを支援する数学的モデルとして再構築できるか？
• RQ5 明るさの2次微分をどのように用いることで、照明に依存しない表面の内在的性質を抽出できるか？

主な発見

• 画像放射照度の2次微分は、光源方向に依存せず、表面の曲率と画像勾配構造にのみ依存する。
• 明るさ制約の方向微分から得られる項は、⟨∇f, dN(·)⟩に比例し、照明に依存しない表面法線の変化を捉える。
• I_{uv} および I_{vv} の導出式には、光源方向に依存する余分な項が含まれるが、表面勾配と法線の変化に依存する関数に簡略化される。
• 本手法により、画像データを表面と光源に依存する成分と、表面形状にのみ依存する成分に明確に分離でき、光源依存性のない再構成が可能になる。
• 境界の曲率制約により、曖昧な表面の族が収縮され、Marrの「最小コミットメントの原則」と整合する形で曖昧性が低減される。
• この定式化は、特にV1および上位領域におけるフィードフォワードおよびフィードバック接続を介した神経生物学的に妥当な実装を支持する。