[論文レビュー] iToF2dToF: A Robust and Flexible Representation for Data-Driven Time-of-Flight Imaging

Felipe Gutierrez, Huaijin Chen+3 more|arXiv (Cornell University)|Mar 11, 2021

Advanced Optical Sensing Technologies参考文献 60被引用数 32

ひとこと要約

本稿では、iToF周波数測定値を補間・外挿することで、希なiToF周波数測定値から一時的画像を再構築するデータ駆動型手法iToF2dToFを提案する。これにより、ルールベースのピーク検出を用いたロバストな距離測定が可能となり、再訓練を必要とせず、低SNRや鏡面MPI、光学クロストークといった困難な状況下でも、先行手法を上回る精度を達成する。実世界データおよび合成データにおいて、最先端の結果を示した。

ABSTRACT

Indirect Time-of-Flight (iToF) cameras are a promising depth sensing technology. However, they are prone to errors caused by multi-path interference (MPI) and low signal-to-noise ratio (SNR). Traditional methods, after denoising, mitigate MPI by estimating a transient image that encodes depths. Recently, data-driven methods that jointly denoise and mitigate MPI have become state-of-the-art without using the intermediate transient representation. In this paper, we propose to revisit the transient representation. Using data-driven priors, we interpolate/extrapolate iToF frequencies and use them to estimate the transient image. Given direct ToF (dToF) sensors capture transient images, we name our method iToF2dToF. The transient representation is flexible. It can be integrated with different rule-based depth sensing algorithms that are robust to low SNR and can deal with ambiguous scenarios that arise in practice (e.g., specular MPI, optical cross-talk). We demonstrate the benefits of iToF2dToF over previous methods in real depth sensing scenarios.

研究の動機と目的

• 鏡面MPI や光学クロストークのような曖昧な状況において、明示的な監視が欠如するデータ駆動型iToF手法の限界を解消すること。
• 中間の一次的画像表現を導入することで、エンドツーエンドモデルの一般化性能の低さを克服すること。
• 柔軟で学習可能な周波数補間フレームワークを用いて、低SNR条件下でもロバストな距離推定を可能にすること。
• シンプルなルールベースのピーク検出アルゴリズムと統合することで、リアルタイム性能と適応性を維持すること。
• 現実世界データおよび、現実的なノイズと複雑な光輸送を再現した新しい合成データセットにおいて、優れた性能を示すこと。

提案手法

• 深層畳み込みニューラルネットワークに、希なiToF周波数測定値（例：20 MHz および 100 MHz）を入力し、周波数の補間・外挿を実行する。
• ネットワークを、高密度なiToF周波数（例：20–400 MHz）の予測に訓練することで、高分解能の一時的画像再構築を可能にする。
• 再構築された周波数データを用いて、逆フーリエ変換により直接反射成分（dToF）の一時的画像を推定する。
• dToF波形にルールベースのピーク検出アルゴリズム（例：最大ピーク検出）を適用し、距離推定値を抽出する。
• dToF表現を活用して、直接光と間接光のパスを分離し、明示的な各シナリオへの監視を必要とせずにマルチパス干渉（MPI）を低減する。
• 現実的な幾何形状、テクスチャ、ノイズを備えた合成データセットを用いてモデルを訓練および検証し、現実世界条件への一般化を保証する。

実験結果

リサーチクエスチョン

• RQ1 希なiToF周波数から中間の一時的画像を再構築するデータ駆動型モデルは、エンドツーエンドモデルと比較して、曖昧な距離測定シナリオにおける一般化性能を向上させられるか？
• RQ2 従来のiToFおよびデータ駆動型手法が失敗する低SNR条件下で、iToF2dToFフレームワークはどのように性能を示すか？
• RQ3 dToF表現は、再訓練を必要とせず、鏡面反射や光学クロストークといった困難な状況下でもロバストな距離推定を可能にするか？
• RQ4 提案された周波数補間戦略は、ベースライン手法と比較して、一時的画像再構築の精度をどの程度向上させるか？
• RQ5 iToF2dToFをシンプルなルールベースのピーク検出と統合した場合、現実世界データにおいてエンドツーエンド学習よりも高い距離精度を達成できるか？

主な発見

• iToF2dToFは、実世界のシーンにおいて真値が与えられた状況で、従来の位相型およびデータ駆動型iToF2Depth手法を上回る最先端の距離精度を達成した。
• 0.1msの露出時間（極めて低SNR）でも、他の手法が失敗する領域や顕著な誤差を生じる領域において、iToF2dToFは正確な距離推定を維持した。
• 鏡面反射や光学クロストークを伴う困難なシーンにおいて、iToF2dToFはiToF2Depthと比較して中央値の距離誤差を最大50％まで低減した。
• 現実的なノイズと複雑な光輸送を再現した合成データセットは、効果的な訓練および現実世界シナリオへの一般化を可能にした。
• わずか2つの入力周波数からのみでも、iToF2dToFは最小限のアーチファクトで一時的波形を再構築でき、高品質な距離マップを生成した。
• フレームワークは、さまざまな濃度の霧条件下でもロバスト性を維持し、高散乱状態でも正確な距離回復を実現した。