[論文レビュー] Recent Advances in Imaging Around Corners

Tomohiro Maeda, Guy Satat+3 more|arXiv (Cornell University)|Oct 12, 2019

Advanced Optical Sensing Technologies参考文献 88被引用数 47

ひとこと要約

この論文は、光を用いた非視線（NLOS）イメージングの総合的な調査で、ToF、コヒーレンス、強度ベースの技術、ハードウェア、アルゴリズム、および実世界の課題を網羅する。

ABSTRACT

Seeing around corners, also known as non-line-of-sight (NLOS) imaging is a computational method to resolve or recover objects hidden around corners. Recent advances in imaging around corners have gained significant interest. This paper reviews different types of existing NLOS imaging techniques and discusses the challenges that need to be addressed, especially for their applications outside of a constrained laboratory environment. Our goal is to introduce this topic to broader research communities as well as provide insights that would lead to further developments in this research area.

研究の動機と目的

• 非視線イメージングを幅広い研究者へ紹介する。
• 既存のNLOSイメージング技術とセンシングモダリティをレビューする。
• 前方モデル、再構成・推論アルゴリズム、およびそれらの現実世界での適用可能性について論じる。
• ラボを超えた実装のためのハードウェアオプションと実用的な課題を強調する。

提案手法

• NLOS技術をTime-of-Flight、コヒーレンスベース、強度ベースのカテゴリに分類する。
• 見えないシーンを測定値に写す前方モデルを説明し、ill-posednessと正則化について議論する。
• 再構成アルゴリズム（バックプロジェクション、事前情報を用いた最適化、confocal deconvolution、波動ベースおよび逆レンダリングアプローチ）。
• 局在化、追跡、分類の推論戦略と、全体的なシーン再構成との比較を説明する。
• ハードウェアの選択肢（ストreak cameras、SPADs、AMCW ToFカメラ、従来のカメラ、干渉計）とそれらのトレードオフを概説する。
• データ駆動型アプローチと推論・認識タスクにおけるニューラルネットワークの役割について論じる。

実験結果

リサーチクエスチョン

• RQ1 角周りを見えるようにする既存技術は何か、 sensing モダリティごとにどう異なるか？
• RQ2 ToF、コヒーレンス、強度アプローチを横断してNLOSイメージングを可能にする前方モデルと再構成／推論アルゴリズムは何か？
• RQ3 実験室外の現実世界の設定で、ハードウェア選択とノイズ・照明条件が実用的なNLOSイメージングにどう影響するのか？
• RQ4 リアルタイムで堅牢なNLOSイメージングにおける主な課題と潜在的解決策は何か？
• RQ5 データ駆動型手法は角周りの局在化、追跡、分類にどう貢献できるか？

主な発見

• Time-of-Flight 方法は、三回バウンスの光子パスを活用することで、隠れた物体の位置に楕円体の制約を与える。
• 共焦点イメージングは前方モデルを3D畳込みに簡略化し、デコンボリューションベースの再構成を高速化する。
• コヒーレンスベースの手法はメモリ効果と空間コヒーレンスを活用して、散乱があっても隠れたシーンを再構成・推定できる。
• 強度ベースの手法は遮蔽や壁の反射を利用し、 priors を用いたリアルタイムのパッシブ追跡と再構成を可能にする。
• 複数のハードウェアモダリティ（ストreakカメラ、SPAD、AMCW ToF、従来のカメラ、干渉計）は、時間分解能、SNR、コスト、実用性の面でそれぞれ異なるトレードオフを提供する。
• データ駆動アプローチは局在化と分類の面で有望を示しているが、一般化は依然として研究の活発な領域である。