[論文レビュー] Non-line-of-sight imaging off a Phong surface through deep learning

Chen Zhou, Chengyu Wang+1 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Optical Sensing Technologies参考文献 1被引用数 7

ひとこと要約

本稿では、手書き数字のデータセットで訓練されたニューラルネットワークを用いて、散乱光を介して非視認物体を再構築する深層学習ベースの非視線（NLOS）イメージングシステムを提案する。この手法は、フォン表面からの散乱光を用い、未学習のパターンや動画への一般化を可能にする。5%の鏡面反射でさえも、純ラムベールト表面を上回る再構築忠実度を達成し、SSIMが最大0.93に達する。これは、特異値スペクトルの拡張が促進されるためである。

ABSTRACT

A deep learning based non-line-of-sight (NLOS) imaging system is developed to image an occluded object off a scattering surface. The neural net is trained using only handwritten digits, and yet exhibits capability to reconstruct patterns distinct from the training set, including physical objects. It can also reconstruct a cartoon video from its scattering patterns in real time, demonstrating the robustness and generalization capability of the deep learning based approach. Several scattering surfaces with varying degree of Lambertian and specular contributions were examined experimentally; it is found that for a Lambertian surface the structural similarity index (SSIM) of reconstructed images is about 0.63, while the SSIM obtained from a scattering surface possessing a specular component can be as high as 0.93. A forward model of light transport was developed based on the Phong scattering model. Scattering patterns from Phong surfaces with different degrees of specular contribution were numerically simulated. It is found that a specular contribution of as small as 5% can enhance the SSIM from 0.83 to 0.93, consistent with the results from experimental data. Singular value spectra of the underlying transfer matrix were calculated for various Phong surfaces. As the weight and the shininess factor increase, i.e., the specular contribution increases, the singular value spectrum broadens and the 50-dB bandwidth is increased by more than 4X with a 10% specular contribution, which indicates that at the presence of even a small amount of specular contribution the NLOS measurement can retain significantly more singular value components, leading to higher reconstruction fidelity. With an ordinary camera and incoherent light source, this work enables a low-cost, real-time NLOS imaging system without the need of an explicit physical model of the underlying light transport process.

研究の動機と目的

• 光輸送の明示的物理モデルを必要としない低コストでリアルタイムなNLOSイメージングシステムの開発。
• フォン散乱表面における鏡面成分がNLOS再構築忠実度に与える影響の調査。
• 単純なデータセット（例：手書き数字）で訓練された深層学習モデルの、複雑で未学習の物体および動的シーンへの一般化能力の評価。
• 鏡面反射が光輸送行列の特異値スペクトルに与える影響を定量化し、再構築品質に与える影響を明らかにすること。

提案手法

• 深層ニューラルネットワークは、フォンに基づく光輸送モデルを用いて生成された合成散乱パターンのみで訓練される。
• フォン散乱モデルを用いて、ラムベールト成分と鏡面成分の割合を変化させた表面における光輸送を模擬する。
• 数値シミュレーションにより、鏡面成分の割合（0%〜100%）に応じた散乱パターンを生成し、ネットワークの訓練および評価に用いる。
• 物理的表面からの実世界の散乱パターン（制御された鏡面特性を有する）を用いてネットワークをテストし、静的パターンおよび動的コマーシャル動画のリアルタイム再構築を実現する。
• 光輸送行列の特異値分解（SVD）を実施し、鏡面成分の増加に伴う特異値の分布および帯域幅の変化を分析する。
• 通常のカメラと非コherent光源を用いるため、専用ハードウェアや明示的物理モデルの必要がない。

実験結果

リサーチクエスチョン

• RQ1 手書き数字で訓練された深層学習モデルは、非視線イメージングにおいて、複雑で未学習の物理的物体を再構築できるか？
• RQ2 フォン表面に鏡面反射が存在する場合、NLOSイメージングの再構築品質にどのような影響を与えるか？
• RQ3 鏡面成分の増加に伴い、光輸送行列の特異値スペクトルはどの程度変化するか？ また、その変化が再構築忠実度に与える影響は？
• RQ4 深層学習ベースのアプローチは、光輸送の明示的物理モデルを必要とせずにリアルタイムNLOSイメージングを実現できるか？

主な発見

• 深層学習モデルは、純ラムベールト表面では構造的類似性指数（SSIM）が0.63に達するが、鏡面成分が存在する場合、0.93に著しく向上する。
• わずか5%の鏡面反射でも、SSIMは0.83から0.93に上昇し、最小限の鏡面反射が再構築品質を顕著に向上させることが示された。
• 鏡面成分の増加に伴い、特異値スペクトルが拡張され、10%の鏡面反射で50-dB帯域幅が400%以上拡大する。
• モデルは、実世界の散乱パターンからコマーシャル動画をリアルタイムで再構築でき、訓練データを超える耐障害性および一般化能力を確認した。
• 標準カメラと非コherent光源を用いることで、明示的物理モデルを必要とせず、リアルタイムで低コストなNLOSイメージングが実現可能である。
• 結果から、散乱表面に存在する鏡面成分は、光輸送行列における特異値成分の保持を促進し、より高忠実度の再構築を可能にすることが明らかになった。