[論文レビュー] Single-shot ToF sensing with sub-mm precision using conventional CMOS sensors

Manuel Ballester, Heming Wang+3 more|arXiv (Cornell University)|Dec 2, 2022

Advanced Optical Sensing Technologies被引用数 4

ひとこと要約

本稿では、従来のCMOSセンサを用いて合成波長干渉計法を実装した1枚撮影による時間飛行（ToF）カメラを提案し、1ミリメートル未塔の深度精度を達成する。複数の波長で物体を照射し、干渉計的位相アンラップを活用することで、1回の露光で全3次元モデルを取得可能であり、動きに強く、高分解能の3次元イメージングが可能となる。動的で粗い表面の物体に対しても、最大330 µmの深度精度を実現する。

ABSTRACT

We present a novel single-shot interferometric ToF camera targeted for precise 3D measurements of dynamic objects. The camera concept is based on Synthetic Wavelength Interferometry, a technique that allows retrieval of depth maps of objects with optically rough surfaces at submillimeter depth precision. In contrast to conventional ToF cameras, our device uses only off-the-shelf CCD/CMOS detectors and works at their native chip resolution (as of today, theoretically up to 20 Mp and beyond). Moreover, we can obtain a full 3D model of the object in single-shot, meaning that no temporal sequence of exposures or temporal illumination modulation (such as amplitude or frequency modulation) is necessary, which makes our camera robust against object motion. In this paper, we introduce the novel camera concept and show first measurements that demonstrate the capabilities of our system. We present 3D measurements of small (cm-sized) objects with > 2 Mp point cloud resolution (the resolution of our used detector) and up to sub-mm depth precision. We also report a "single-shot 3D video" acquisition and a first single-shot "Non-Line-of-Sight" measurement. Our technique has great potential for high-precision applications with dynamic object movement, e.g., in AR/VR, industrial inspection, medical imaging, and imaging through scattering media like fog or human tissue.

研究の動機と目的

• 動的で光学的に粗い表面を対象とする、動きに強く高精度な3次元イメージングシステムの開発。
• 時間的変調や複数回の露光を要する従来のToFカメラに起因する低深度精度の制限を克服すること。
• 特別なセンサ構造を必要とせず、市販のCMOSセンサのみを用いて1枚撮影による3次元再構成を実現すること。
• 合成波長干渉計法を、1枚撮影フレームワークにおいて動的で大規模な粗い表面物体に応用すること。
• 1枚撮影による干渉計的ToFアプローチを用いて、非視線（NLoS）イメージングの可能性を実証すること。

提案手法

• 複数のレーザー波長（λ₁, λ₂, など）を用いて合成波長（Λ）を生成し、干渉計測定における曇った位相アンラップを解消する。
• 物体ビームと参照ビームの干渉縞を、通常のCMOSセンサでネイティブピクセル分解能（最大20 Mp）で1回の露光で取得する。
• 取得画像のフーリエドメインから位相マップを抽出し、合成波長干渉計法を適用して位相を解消し、深度を回復する。
• 多波長干渉計法を活用して、粗い表面に起因するスペーキルによるランダムな位相フラクチュエーションを解消し、単一波長干渉計法の限界を超えた深度精度を実現する。
• 計算パイプラインにより、アンラップされた位相マップから全3次元点群を再構成し、横方向分解能はセンサ分解能およびアパーチャ設計にのみ依存する。
• 参照ビームと物体ビームの光路差を最小限に抑えることで、安定した干渉と高精度な深度回復を実現する。

実験結果

リサーチクエスチョン

• RQ1 標準のCMOSセンサのみを用いて、合成波長干渉計法を応用した1枚撮影ToFカメラで1ミリメートル未塔の深度精度を達成できるか？
• RQ2 動的または光学的に粗い表面を対象とした際、システムは高い深度精度と動きへの耐性を維持できるか？
• RQ3 1枚撮影による干渉計的ToFアプローチを非視線（NLoS）イメージングの状況に拡張可能か？
• RQ4 複数のレーザー波長および合成波長設計と、システムの性能はどのようにスケーリングするか？
• RQ5 フーリエドメインにおけるアパーチャサイズ、視野角、スペクトル分離の間には、どのような根本的トレードオフが存在するか？

主な発見

• システムは最大330 µmの深度精度を達成し、従来のToFカメラに比べ100倍の向上を示した。
• 動きのある物体の1枚撮影3次元ビデオを正常に取得し、時間的変調を一切行わずしても動きに強いことを実証した。
• 本システムは、合成波長干渉計法を用いた、世界で初めての1枚撮影による非視線（NLoS）測定を実現し、視線内イメージングを超えた技術の拡張を可能にした。
• 1回の露光から2 Mpを超える分解能の全3次元点群を再構成でき、これはセンサのネイティブ分解能にのみ依存する。
• 本手法は3波長以上へと拡張可能であり、複数の合成波長を用いた1枚撮影構成で、より優れた位相アンラップを実現できる。
• システムは標準のCMOSセンサの制約内に収まり、特別なセンサ構造や時間的多重化を必要としない。