[論文レビュー] Recent Advances on Non-Line-of-Sight Imaging: Conventional Physical Models, Deep Learning, and New Scenes

Ruixu Geng, Hu Yang+1 more|arXiv (Cornell University)|Apr 28, 2021

Advanced Optical Sensing Technologies被引用数 5

ひとこと要約

本論文は、非視線（NLOS）イメージングの包括的サーベイを提供し、従来の物理モデルとディープラーニングベースの手法をカバーしており、アクティブおよびパッシブなイメージング技術に焦点を当てる。二重反射イメージングやキーホールイメージングといった新しいNLOSシーンを紹介し、再構成品質の向上、SNRの向上、スキャン時間の短縮を強調しつつ、将来的な研究における一般化性とリアルタイム処理の課題を特定している。

ABSTRACT

As an emerging technology that has attracted huge attention, non-line-of-sight (NLOS) imaging can reconstruct hidden objects by analyzing the diffuse reflection on a relay surface, with broad application prospects in the fields of autonomous driving, medical imaging, and defense. Despite the challenges of low signal-to-noise ratio (SNR) and high ill-posedness, NLOS imaging has been developed rapidly in recent years. Most current NLOS imaging technologies use conventional physical models, constructing imaging models through active or passive illumination and using reconstruction algorithms to restore hidden scenes. Moreover, deep learning algorithms for NLOS imaging have also received much attention recently. This paper presents a comprehensive overview of both conventional and deep learning-based NLOS imaging techniques. Besides, we also survey new proposed NLOS scenes, and discuss the challenges and prospects of existing technologies. Such a survey can help readers have an overview of different types of NLOS imaging, thus expediting the development of seeing around corners.

研究の動機と目的

• 非視線（NLOS）イメージング技術における最近の進展を体系的に概説すること。
• 低SNRおよび高不定性（ill-posedness）を特徴とする従来の物理モデル手法の限界を分析すること。
• ディープラーニングがNLOS再構成品質および一般化性能の向上に果たす役割と可能性を評価すること。
• 二重反射やキーホールイメージングを含む新たなNLOSイメージングシーンを探索し、従来の設定を超えた応用範囲を拡大すること。
• 実用的でリアルタイムかつ頑健なNLOSイメージングシステムを実現するための未解決の課題と今後の研究方向性を特定すること。

提案手法

• 照明の有無に基づき、NLOSイメージングをアクティブ法とパッシブ法に分類する：アクティブ法は制御可能な光源（例：超高速レーザー）を用い、パッシブ法は環境光または放出光に依存する。
• バックプロジェクション、逆問題手法、波動ベースのモデルを含む従来の再構成技術をレビューし、正確な前方イメージングモデルと時間分解能検出に依存する。
• ディープラーニングベースのアプローチを分析し、物理的制約をアーキテクチャに組み込む物理情報型ネットワークと、エンドツーエンドのネットワークに区別する。
• 二重反射イメージング（隠れた物体が光を遮断し、リレーフィールドに検出可能な影を形成する）とキーホールイメージング（小さな開口部を用いて照射と検出を限定する）という二つの新しいNLOSシーンを導入する。
• 一般化性能を向上させる戦略として、トランスファー学習、教師なし学習、および強化された合成データセットの生成を議論する。
• アレイ検出器（例：SPADアレイ）によりスキャン時間を短縮し、逐次走査を排除することでリアルタイムイメージングを実現できると提言する。

実験結果

リサーチクエスチョン

• RQ1 従来の物理モデルは、NLOSイメージングにおけるSNR向上と不定性の低減を図るために、どのように最適化できるか？
• RQ2 ディープラーニングモデルは、未観測のシーン、パrameters（例：BRDF、時間ジッタ）および新しい隠れた物体の配置に、どの程度一般化できるか？
• RQ3 二重反射やキーホールイメージングといった新たなNLOSイメージングシーンの性能と限界は何か？
• RQ4 教師なし学習やトランスファー学習技術は、大規模なアノテート済みデータセットに依存せずに、モデルの一般化性能をどのように向上させられるか？
• RQ5 実用的応用において、リアルタイムで高解像度のNLOSイメージングを実現するには、どのようなハードウェア的およびアルゴリズム的革新が必要か？

主な発見

• 超高速レーザーと時間分解能検出器を用いたアクティブNLOSイメージングにより、三重反射光を捉えることで高解像度3次元再構成が可能であり、ある研究では1.43 kmの距離でのイメージングを達成している。
• パッシブNLOSイメージングは、低品質な2次元再構成や位置特定にとどまっているが、最近の手法では部分的遮蔽物を伴う形状と深度の推定が可能になっている。
• 特に物理情報型ネットワークを用いたディープラーニングベースの手法は、シーンの事前知識を学習し、物理的制約を組み込むことで、再構成品質が向上している。
• 二重反射NLOSイメージングは、遮断された光の投影を検出することで、障害物の背後にいる対象物のイメージングを可能にし、自動運転車や救助活動への応用が期待される。
• キーホールイメージングは、小さな開口部を用いることで、カーテンがある部屋など制限された環境でもNLOSイメージングを可能にし、空間的要件を低減する。
• 一般化性能は依然として主要な課題である：合成データで学習した現在のディープラーニングモデルは、未観測のパrametersやシーンに対しては限界があることが示されており、教師なし学習やトランスファー学習のアプローチの必要性が強調されている。