[論文レビュー] A Light Transport Model for Mitigating Multipath Interference in TOF Sensors

Nikhil Naik, Achuta Kadambi+4 more|arXiv (Cornell University)|Jan 20, 2015

Advanced Optical Sensing Technologies参考文献 6被引用数 10

ひとこと要約

本稿では、直接光とグローバルな照明成分を組み合わせた軽量な光輸送モデルを提案し、TOFカメラの測定値と統合することで、距離測定における多重パス干渉（MPI）を低減する。従来のスパarsityに基づく手法よりも、光学的輸送をより正確にモデル化することで、Kinectセンサーを用いたシミュレート済みおよび物理的データセットにおいて、深度精度の顕著な定量的向上を達成した。

ABSTRACT

Continuous-wave Time-of-flight (TOF) range imaging has become a commercially viable technology with many applications in computer vision and graphics. However, the depth images obtained from TOF cameras contain scene dependent errors due to multipath interference (MPI). Specifically, MPI occurs when multiple optical reflections return to a single spatial location on the imaging sensor. Many prior approaches to rectifying MPI rely on sparsity in optical reflections, which is an extreme simplification. In this paper, we correct MPI by combining the standard measurements from a TOF camera with information from direct and global light transport. We report results on both simulated experiments and physical experiments (using the Kinect sensor). Our results, evaluated against ground truth, demonstrate a quantitative improvement in depth accuracy.

研究の動機と目的

• 連続波型時間飛行（TOF）カメラにおける多重パス干渉（MPI）によって引き起こされるシーン依存の深度誤差を是正すること。
• 光学的反射における極度のスパarsity仮定に依存する従来のMPI補正手法の限界を克服すること。
• 標準的なTOF測定値に物理的光輸送モデリングを組み込むことで、より正確なMPI低減手法を開発すること。
• Kinectセンサーを用いたシミュレート環境および実世界の実験において、手法の妥当性を検証すること。

提案手法

• 本手法は、光が表面を反射してセンサーに到達するまでの経路を捉えるために、直接成分とグローバル成分の組み合わせを用いて、シーン内の光輸送をモデル化する。
• 測定されたTOF強度と元のシーンの幾何構造および反射特性との関係を記述する線形システムを定式化する。
• 光源からセンサーへの光の経路を表す光輸送行列を用い、間接的および複数回反射成分を含む。
• 物理的妥当性および深度推定の滑らかさを強制する正則化最適化フレームワークを用いて、モデルを解く。
• 標準的なTOF測定値と推定された輸送成分を統合し、より正確な深度マップを再構築する。
• 性能評価のため、本手法は合成シーンおよびKinectセンサーからの実データに適用される。

実験結果

リサーチクエスチョン

• RQ1 光輸送モデリングは、多重パス干渉に影響を受けるTOFカメラにおける深度精度をどのように向上させるか？
• RQ2 スパarsity仮定と比較して、グローバルな照明成分を組み込むことで、深度誤差はどの程度低減されるか？
• RQ3 提案されたモデルは、実世界のTOFイメージングにおける多様なシーン幾何構造および素材に一般化可能か？
• RQ4 シミュレート済みおよび物理的実験における真値との比較で、定量的にどの程度の性能を示すか？

主な発見

• 提案手法は、シミュレート済みおよび物理的実験の両方で、ベースラインのTOF測定値よりも測定精度が顕著に向上した。
• グローバル光輸送成分の統合により、スパarsity仮定に依存する手法よりも、より正確な深度マップが得られた。
• 真値との定量的評価により、さまざまなシーン構成で一貫した深度誤差の低減が確認された。
• 複数回反射やラムベール的でない表面を有する複雑なシーンにおいても、本手法は多重パス干渉を効果的に低減した。
• Kinectセンサーでの実験結果から、MPIが顕著に現れる実世界の条件下でも、深度精度が向上したことが示された。
• 本モデルの性能は、異なる素材およびシーン幾何構造に対して安定しており、理想化された仮定を超えた一般化可能性を示した。