[論文レビュー] Tracking moving objects through scattering media via speckle correlations

Y. Jauregui-Sánchez, Harry Penketh+1 more|arXiv (Cornell University)|Feb 22, 2022

Random lasers and scattering media被引用数 4

ひとこと要約

本稿では、時間変動するスプライクルパターンの相互相関を用いて、散乱媒体の背後にいる移動物体をリアルタイムで低複雑性で追跡する手法を提案する。連続するフレーム間でのスプライクル強度の相互相関と自己相関の差分を計算することで、運動信号を分離し、光学的メモリ効果の範囲を超えて、最小限の計算量で画像再構成を伴わず追跡を可能にする。

ABSTRACT

Scattering can rapidly degrade our ability to form an optical image, to the point where only speckle-like patterns can be measured. Truly non-invasive imaging through a strongly scattering obstacle is difficult, and usually reliant on a computationally intensive numerical reconstruction. In this work we show that, by combining the cross-correlations of the measured speckle pattern at different times, it is possible to track a moving object with minimal computational effort and over a large field of view.

研究の動機と目的

• 散乱によるスプライクルの劣化により従来のイメージングが失敗する強力な散乱媒体の背後にいる移動物体の追跡という課題に対処すること。
• 散乱媒体を通過する画像の再構成にかかる計算負荷を軽減するため、完全な画像回復ではなく運動追跡に焦点を当てる。
• スプライクルパターンの時間的相関を活用することで、最小限の計算コストでリアルタイム追跡を実現すること。
• 背景スプライクルの相関を活用することで、光学的メモリ効果の範囲を超えた有効視野を拡大すること。
• 静的背景を伴う複雑なシーンに対しても、静的成分を相互相関から差し引くことで、スプライクルベースの運動追跡の耐障害性を高めること。

提案手法

• レンズレスCMOSカメラを用いて、散乱媒体の背後に隠れたシーンの時間的連続したスプライクル強度パターンを測定する。
• 連続する時間ステップにおけるスプライクルパターン間の相互相関を計算し、運動関連の情報を抽出する。
• 相互相関と自己相関の差分を適用することで、静的背景の寄与を抑制する。
• 得られた信号（ゼロ平均で運動方向を符号化）を用いて、解釈可能な運動フレームを生成する。
• 信号に寄与するのは、メモリ効果範囲内で相関を持つスプライクルパターンに限られるため、物体が標準的なメモリ範囲外に移動しても追跡が可能になる。
• 二重層の接着テープを用いることで、メモリ効果範囲を短縮し、局所的運動に高い感度を示しながらも透過性を維持する。

実験結果

リサーチクエスチョン

• RQ1 強力な散乱媒体の背後に隠れた物体の運動を、完全な画像再構成なしに追跡できるか？
• RQ2 時間変動するスプライクルパターンの相互相関を用いることで、最小限の計算コストで運動情報を抽出できるか？
• RQ3 光学的メモリ効果の範囲を超えて、追跡の有効視野を拡大できるか？
• RQ4 スプライクルベースの運動追跡において、静的背景成分を効果的に抑制できるか？
• RQ5 本手法は、移動だけでなく回転、変形、またはサイズ変化といった複数の運動タイプを検出できるか？

主な発見

• 提案手法により、散乱媒体の背後にいる移動物体のリアルタイム追跡が、計算オーバーヘッドをほとんど発生させずに実現できる。
• 自己相関を相互相関から差し引くことで、静的背景成分が効果的にキャンセルされ、運動に起因する信号のみが残る。
• 物体が光学的メモリ効果の範囲外に移動しても、少なくとも1つの静的背景点と相関関係にある限り、追跡が成功する。
• 得られた運動信号は、移動物体を中心に集中しており、背景はそれに対して相対的に動いているように見えるため、運動方向の直感的な解釈が可能になる。
• DMDを用いたシーンと二層の接着テープを用いた実験結果から、メモリ効果範囲が短縮された状況でも、運動追跡が堅牢で効果的であることが確認された。
• 本手法は、物体の形状や運動モデルに関する事前知識が不要な状態で、移動、回転、変形といった多様な運動タイプに適用可能である。