[論文レビュー] Roles of scattered and ballistic photons in imaging through scattering media: a deep learning-based study

Xuyu Zhan, Jingjing Gao+7 more|arXiv (Cornell University)|Jul 21, 2022

Random lasers and scattering media被引用数 5

ひとこと要約

本研究は、厚い散乱媒体を用いた深層学習ベースのイメージングにおける、ボールスティック光子と散乱光子の異なる役割を調査する。ランダム位相マスクを用いて光子の重みを操作することで、両者の光子が画像再構成を可能にすることを明らかにしたが、散乱光子はキーロスの暗号化メカニズムとして機能する一方、ボールスティック光子は安定的で一般化可能な推論を可能にする。これは、ボールスティック光子が、検出される割合が低いかかに、さまざまなドライバーを横断するニューラルネットワークの一般化の基盤をなしていることを示している。

ABSTRACT

Scattering of light in complex media scrambles optical wavefronts and breaks the principles of conventional imaging methods. For decades, researchers have endeavored to conquer the problem by inventing approaches such as adaptive optics, iterative wavefront shaping, and transmission matrix measurement. That said, imaging through/into thick scattering media remains challenging to date. With the rapid development of computing power, deep learning has been introduced and shown potentials to reconstruct target information through complex media or from rough surfaces. But it also fails once coming to optically thick media where ballistic photons become negligible. Here, instead of treating deep learning only as an image extraction method, whose best-selling advantage is to avoid complicate physical models, we exploit it as a tool to explore the underlying physical principles. By adjusting the weights of ballistic and scattered photons through a random phasemask, it is found that although deep learning can extract images from both scattered and ballistic light, the mechanisms are different: scattering may function as an encryption key and decryption from scattered light is key sensitive, while extraction from ballistic light is stable. Based on this finding, it is hypothesized and experimentally confirmed that the foundation of the generalization capability of trained neural networks for different diffusers can trace back to the contribution of ballistic photons, even though their weights of photon counting in detection are not that significant. Moreover, the study may pave an avenue for using deep learning as a probe in exploring the unknown physical principles in various fields.

研究の動機と目的

• 散乱媒体を用いた深層学習ベースのイメージングにおける、ボールスティック光子と散乱光子の物理的役割の違いを理解すること。
• 深層学習モデルが異なるドライバー間で一般化するかどうか、およびその背後にある物理的メカニズムを調査すること。
• 訓練済みニューラルネットワークの一般化能力が、検出重みが最小であってもボールスティック光子に起因するかどうかを特定すること。
• 深層学習を単なる画像再構成ツールとしてではなく、複雑な光学系における隠れた物理的原理を解明するためのプローブとして探求すること。

提案手法

• 複数のドライバーを通過した光から画像を再構成するための深層学習フレームワークを、散乱光子とボールスティック光子の両方を用いて訓練する。
• ランダム位相マスクを導入し、検出プロセスにおけるボールスティック光子と散乱光子の相対的重みを動的に制御する。
• ボールスティック光子と散乱光子の比率を変化させながらモデルの性能を評価し、安定性と一般化能力を測定する。
• 複数のドライバーを用いた実験によりモデルの一般化をテストし、ボールスティック光子の寄与を分離して分析する。
• 散乱光子とボールスティック光子に依存する場合の画像再構成の忠実度と位相マスクの変化に対する感受性を比較する。
• ボールスティック光子が、散乱媒体内での深層学習モデルの一般化能力の背後にある要因であるという仮説を立て、実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 ボールスティック光子と散乱光子は、散乱媒体における深層学習モデルの画像再構成にどのように異なる寄与をしているか？
• RQ2 散乱特性に差があるにもかかわらず、あるドライバーで訓練された深層学習モデルが他のドライバーに一般化するのはなぜか？
• RQ3 ボールスティック光子と比較して、なぜボールスティック光子からの画像再構成は安定的であるのか、その物理的メカニズムは何か？
• RQ4 深層学習は、複雑な光学系における隠れた物理的原理を解明するためのプローブとして機能できるか？
• RQ5 ボールスティック光子は、散乱媒体を介した画像認識における深層ニューラルネットワークの一般化にどの程度寄与しているか？

主な発見

• 深層学習は散乱光子とボールスティック光子の両方を用いて画像再構成が可能であるが、その背後にあるメカニズムは顕著に異なる。散乱光子による再構成は位相マスクの変化に極めて敏感であり、暗号化に類似した挙動を示す。
• ボールスティック光子に依存する画像再構成は、さまざまな実験的条件下でも安定的かつ頑健であるため、より信頼性の高い物理的経路であると考えられる。
• 検出重みが低いかかに、ボールスティック光子は、異なるドライバー間でのニューラルネットワークの一般化に不可欠である。
• 多様なドライバー間でのモデルの一般化能力は、主にボールスティック光子の一貫した寄与に起因しており、信号中で支配的でない場合でもそうである。
• 本研究は、モデル一般化の基盤が、散乱光子の統計的パターンではなく、ボールスティック光子の物理的安定性にあることを実験的に確認した。
• 本研究は、深層学習が単なる画像再構成を超えて、散乱媒体内での未知の物理的原理を解明する有効なツールであると確立した。