[論文レビュー] Effective Backscatter Approximation for Photometry in Murky Water

Chourmouzios Tsiotsios, Maria E. Angelopoulou+2 more|arXiv (Cornell University)|Apr 29, 2016

Water Quality Monitoring Technologies参考文献 1被引用数 3

ひとこと要約

本稿では、曇った水中における光度ステレオのための新しいバックスキャッタ近似法を提案する。深度飽和性と滑らかな角度依存性を活用し、撮影された画像から直接バックスキャッタを推定する。複雑なバックスキャッタ成分を除去することで、強すぎる散乱下でも正確な高密度法線およびアルベド推定が可能となり、シミュレーションおよび実際の港水中実験において、先行手法を上回る性能を発揮する。

ABSTRACT

Shading-based approaches like Photometric Stereo assume that the image formation model can be effectively optimized for the scene normals. However, in murky water this is a very challenging problem. The light from artificial sources is not only reflected by the scene but it is also scattered by the medium particles, yielding the backscatter component. Backscatter corresponds to a complex term with several unknown variables, and makes the problem of normal estimation hard. In this work, we show that instead of trying to optimize the complex backscatter model or use previous unrealistic simplifications, we can approximate the per-pixel backscatter signal directly from the captured images. Our method is based on the observation that backscatter is saturated beyond a certain distance, i.e. it becomes scene-depth independent, and finally corresponds to a smoothly varying signal which depends strongly on the light position with respect to each pixel. Our backscatter approximation method facilitates imaging and scene reconstruction in murky water when the illumination is artificial as in Photometric Stereo. Specifically, we show that it allows accurate scene normal estimation and offers potentials like single image restoration. We evaluate our approach using numerical simulations and real experiments within both the controlled environment of a big water-tank and real murky port-waters.

研究の動機と目的

• 水中光度ステレオにおけるバックスキャッタの劣化問題に対処すること。これは、画像形成を歪め、法線およびアルベド推定を困難にする。
• 従来手法の限界を克服すること。従来手法はバックスキャッタを無視するか、不切実な照明配置（例：遠方光源）を仮定している。
• 人工光源を用いて、曇った水中のシーン再構築を正確に行えるようにすること。特に、模様のないか低特徴の表面に対して有効である。
• 単一画像修復の可能性と、強い散乱条件下での頑健な光度ステレオの実現を示すこと。
• センサデータから直接バックスキャッタを推定する実用的でキャリブレーション不要な手法を提供すること。これは、リアルタイムの水中ロボットシステムに適している。

提案手法

• バックスキャッタが短い距離を超えて深度が増すと飽和し、深度に依存せず、光源からピクセルへの幾何的配置に依存するという事実に着目する。
• バックスキャッタ信号を、各ピクセルが光源に対してとる角度位置に応じて変化する滑らかな関数としてモデル化する。
• 画像内から少数の測定バックスキャッタ値を用いてトレーニングされた低次の多項式回帰（例：2次式）を用いて、ピクセルごとのバックスキャッタを近似する。
• 代替的に、カメラを無限遠方向に向けて撮影することで、均一な照明下でバックスキャッタレベルを直接測定する。
• 測定された明るさから推定されたバックスキャッタを差し引くことで、シーンからの反射成分を分離し、標準的な光度ステレオ最適化を可能にする。
• キャリブレーションあり・なしの両設定で本手法を適用し、マルチビュー光度ステレオおよび単一画像修復の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 媒質の物理的性質や深度に複雑に依存するバックスキャッタを、媒質や深度の詳細なモデル化なしに、効果的に近似できるか？
• RQ2 ピクセル位置が光源に対してとる角度依存性が、画像形成および再構築品質にどのように影響を与えるか？
• RQ3 バックスキャッタの滑らかで低次元の近似が、高散乱環境下でも正確な光度ステレオ再構築を可能にするか？
• RQ4 本手法は、バックスキャッタを無視するか、不切実な照明配置を仮定する既存手法を上回るか？
• RQ5 同じバックスキャッタ推定フレームワークを、媒質や照明パラメータの事前知識なしに単一画像修復に拡張可能か？

主な発見

• バックスキャッタは、短い距離を超えて深度が増すと飽和し、シーンの深度に依存しなくなる。これにより、モデル化が簡略化される。
• バックスキャッタ信号は、各ピクセルと光源の間の角度関係に応じて画像面上で滑らかに変化するため、回帰ベースの近似が可能になる。
• 実際の港水中で強い散乱下でも、クリーンウォーター時と同等の光度ステレオ再構築品質を達成する。
• 水槽実験では、バックスキャッタを無視するか、遠方光源を仮定する従来手法を、特に高散乱レベル下で上回る。
• バックスキャッタ近似を用いた単一画像修復により、コントラストとアルベドが正確に回復され、偏光子ベースの手法と同等またはそれを上回る結果が得られた。
• 本手法は、実世界のROVへの展開に耐えうる頑健性と実用性を有しており、曇った港水中でも詳細な表面テクスチャ（例：貝）の再構築に成功した。