[論文レビュー] Multiple Scattering Media Imaging via End-to-End Neural Network

Ziyang Yuan, Hongxia Wang|arXiv (Cornell University)|Jun 20, 2018

Random lasers and scattering media参考文献 14被引用数 3

ひとこと要約

本稿では、伝送行列推定を必要とせずに、複数散乱媒体内の位相なしスポッタパターンから直接画像を再構成するエンドツーエンドの深層ニューラルネットワーク、TCNNを提案する。変換層を統合してドメイン間を接続し、エンドツーエンドで逆写像を学習することで、従来の位相再構成手法と比較して100倍以上高速な推論を実現し、64×64の画像の1枚あたりの再構成時間を0.12秒未塔に短縮した。

ABSTRACT

Recovering the image of an object from its phaseless speckle pattern is difficult. Let alone the transmission matrix is unknown in multiple scattering media imaging. Double phase retrieval is a recently proposed efficient method which recovers the unknown object from its phaseless measurements by two steps with phase retrieval. In this paper, we combine the two steps in double phase retrieval and construct an end-to-end neural network called TCNN(Transforming Convolutional Neural Network) which directly learns the relationship between the phaseless measurements and the object. TCNN contains a special layer called transform layer which aims to be a bridge between different transform domains. Tested by the empirical data provided in\cite{Metzler2017Coherent}, images can be recovered by TCNN with comparable quality compared with state-of-the-art methods. Not only the transmission matrix needn't to be calculated but also the time to recover the object can be hugely reduced once the parameters of TCNN are stable.

研究の動機と目的

• 複数散乱媒体における位相なしスポッタパターンからの画像再構成の課題に取り組むこと。従来の手法では、高コストな伝送行列推定を必要としている。
• 波面歪みが未知の複雑な散乱環境における位相再構成の不適切な定式化（ill-posed nature）を克服すること。
• 中間ステップを排除し、強度測定値から物体画像への直接的なマッピングを実現するエンドツーエンドの深層学習フレームワークを開発すること。
• 既存の位相再構成アルゴリズムと比較して、画像再構成時間を顕著に短縮しつつ、競争力のある再構成品質を維持すること。
• 畳み込みニューラルネットワーク内での逆イメージングに不可欠なドメイン変換を可能にする、新規の変換層の有効性を検証すること。

提案手法

• TCNNは、位相なしスポッタ強度パターンから物体画像への逆写像を、1回のエンドツーエンド学習プロセスで学習する深層ニューラルネットワークである。
• ネットワークのアーキテクチャは、非線形な符号化・復号化ブロックに加え、線形変換層を備えており、異なる変換ドメイン（例えば、フーリエ変換と空間ドメイン）間を接続する専用の「変換層」が組み込まれている。
• 変換層は、逆イメージングに不可欠な効率的な特徴変換を可能にする、学習可能なドメイン間ブリッジとして機能する。
• ネットワークは、元の物体とそれに対応する測定されたスポッタ強度のペアデータを用いて学習され、再構成の平均二乗誤差（MSE）を最小化するように最適化される。
• 大規模データを用いて一度だけオフラインで学習が行われ、その後の推論は非常に効率的であり、リアルタイム応用に適している。
• 過学習を防ぐために、エポックの早期停止や検証ベースの監視といった正則化技術が用いられ、20エポック以内に学習収束が確認された。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層ニューラルネットワークは、伝送行列推定を必要とせずに、複数散乱媒体内の位相なしスポッタパターンから画像を効果的に再構成できるか？
• RQ2 提案されたTCNNの性能は、最先端の位相再構成手法と比較して、画像品質および推論速度の面でどのように差がつくか？
• RQ3 新規の変換層が、ネットワーク内でのドメイン変換を可能にすることで、画像再構成の向上に与える影響は何か？
• RQ4 Wirtinger Flow や Fienup の手法のような反復的位相再構成アルゴリズムと比較して、TCNNはどれほど再構成時間を短縮できるか？
• RQ5 TCNNは、異なる画像サイズや散乱条件に対しても一般化可能であり、高い再構成忠実度を維持できるか？

主な発見

• TCNNは、PRVAMP や GS、WF、PhaseLift といった最先端の手法と同等の画像再構成品質を達成しており、特に細部の損失がある中でも物体の輪郭を良好に保持している。
• 64×64の画像に対して、TCNNは1枚あたり0.121秒の再構成時間を達成し、最も遅いベースライン（PhaseLift 239.5秒）と比較して100倍の高速化を実現した。
• 訓練誤差と検証誤差は20エポック以内に急速に収束し、最小の乖離を示しており、過学習の効果的な制御が確認された。
• 小さな検証セットに対しても低誤差を維持しており、さまざまな画像サイズにおけるロバストネスと一般化能力が示された。
• 全テストサイズにおいて、TCNNの時間コストは1枚あたり常に0.12秒未塔であり、10～100回の反復を要する反復的手法と比べて顕著に優れている。
• エンドツーエンド設計により、別個の伝送行列推定の必要がなくなり、イメージングパイプラインが簡素化され、リアルタイム展開が可能になった。