[論文レビュー] Deep-learned speckle pattern and its application to ghost imaging

Xiaoyu Nie, Haotian Song+5 more|arXiv (Cornell University)|Dec 25, 2021

Random lasers and scattering media被引用数 5

ひとこと要約

本稿では、2次相関を調整するための畳み込みニューラルネットワークを訓練することで、計算的ゴーストイメージングに最適化されたスプライクルパターンを生成する深層学習フレームワーク、Speckle-Netを提案する。この手法は、極めて低いサンプリング比（最低0.5%）でも高品質な画像再構成を達成し、ノイズに対して強い耐性を示す。従来のゴーストイメージング手法や深層学習ベースの手法を上回り、直接的に照明パターンを最適化することで優れた性能を発揮する。

ABSTRACT

In this paper, we present a method for speckle pattern design using deep learning. The speckle patterns possess unique features after experiencing convolutions in Speckle-Net, our well-designed framework for speckle pattern generation. We then apply our method to the computational ghost imaging system. The standard deep learning-assisted ghost imaging methods use the network to recognize the reconstructed objects or imaging algorithms. In contrast, this innovative application optimizes the illuminating speckle patterns via Speckle-Net with specific sampling ratios. Our method, therefore, outperforms the other techniques for ghost imaging, particularly its ability to retrieve high-quality images with extremely low sampling ratios. It opens a new route towards nontrivial speckle generation by referring to a standard loss function on specified objectives with the modified deep neural network. It also has great potential for applications in the fields of dynamic speckle illumination microscopy, structured illumination microscopy, x-ray imaging, photo-acoustic imaging, and optical lattices.

研究の動機と目的

• 特定の統計的性質を有する最適化されたスプライクルパターンをデータ駆動で生成し、ゴーストイメージング性能を向上させるための手法を開発すること。
• 従来のスプライクルパターン生成法の限界を克服し、手動によるパrameter調整に依存し、特定のサンプリング比に最適化されていない点を改善すること。
• 画像再構成の最適化から、最適な照明スプライクルパターンの設計への最適化の焦点を移行させること。
• 低サンプリングレートにおける信号対ノイズ比（SNR）を向上させるようにスプライクルパターンを訓練することで、ノイズ環境下でも頑健なゴーストイメージングを実現すること。
• 損失関数を再定義することで、ゴーストイメージングを越えたスプライクルベースの光学系に一般化可能なフレームワークを確立すること。

提案手法

• Speckle-Netは、学習可能なカーネルが逐次的な畳み込みを通じて初期スプライクルパターンの2次相関を調整する、マルチブランチの畳み込みニューラルネットワーク（CNN）アーキテクチャを採用する。
• ネットワークは、特定のサンプリング比における再構成誤差を最小化することを目的としたカスタム損失関数を用いて訓練される。この損失関数は、標準的な計算的ゴーストイメージング（CGI）アルゴリズムの性能をターゲットとしている。
• 各畳み込み層のカーネルは、バックプロパゲーションにより更新され、クロス自己相関比を最適化することで、低サンプリング比における信号対ノイズ比を向上させる。
• 訓練プロセスは最終的な物体に依存せず、光学系と選択された損失関数にのみ依存するため、特定の目的に対して一度の訓練で済ませることができる。
• フレームワークはMNISTの数字データセットで訓練されたが、サンプリング比が多様な状況下で、単純な物体（例：ギリシャ文字、中国文字）や複雑な物体（例：葉の画像）の再構成にも一般化可能である。
• 損失関数を再定義することで、非回折的照明や構造化照明などの異なる光学系要件に適合させることで、他のアプリケーションへの柔軟な適応が可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層学習を用いて、超低サンプリング比でもゴーストイメージング性能を著しく向上させるスプライクルパターンを生成可能か？
• RQ2 学習可能なカーネルを用いてスプライクルパターンの2次相関を最適化することで、画像再構成品質とノイズ耐性にどのような影響を与えるか？
• RQ3 再訓練なしに、1つの事前学習済みSpeckle-Netフレームワークが多様な物体タイプとサンプリング比に一般化可能か？
• RQ4 再構成忠実度と耐性の観点から、標準的なレイリー型スプライクルパターンや他の合成パターンに比べて、深層学習で得たスプライクルパターンはどの程度優れているか？
• RQ5 損失関数を変更することで、異なる光学的目的に適合させることで、このフレームワークを他のスプライクルベースのイメージング系に拡張可能か？

主な発見

• 深層学習で得たスプライクルパターンにより、サンプリング比が0.5%という極めて低い水準でも高忠実度のゴーストイメージング再構成が可能となり、従来手法を著しく上回る。
• 8.8 dBの信号対ノイズ比（SNR）条件下でも、すべてのテストオブジェクト（数字、アルファベット、漢字、葉の画像）が、0.5%を含むすべてのサンプリング比で明確に再構成された。
• 3.1 dBのSNR（極めてノイジーな環境）でも、再構成画像は識別可能であり、超低サンプリング比でも劣化が最小限に抑えられていた。
• 1%および0.5%のサンプリング比パターンは、ノイズ耐性に優れており、3つのSNRレベルすべてでほとんど区別がつかない結果を示しており、ノイズ由来のフラクチュエーションの強力な抑制が確認された。
• 低サンプリング比における最適化されたクロス自己相関比が、信号対ノイズ比を向上させ、ノイズ環境下での性能向上と耐性の向上を説明している。
• この手法はMNISTの学習データセットを越えて一般化可能であり、わずか5%のサンプリング比で中国語の「yán」や葉の画像といった複雑なオブジェクトを成功裏に再構成した。