[論文レビュー] Solving Fourier ptychographic imaging problems via neural network modeling and TensorFlow

Shaowei Jiang, Kaikai Guo+2 more|arXiv (Cornell University)|Mar 9, 2018

Advanced X-ray Imaging Techniques被引用数 9

ひとこと要約

本論文では、TensorFlowを用いた畳み込みニューラルネットワーク（CNN）を用いた深層学習フレームワークを提案し、フォーリエ位相トモグラフィー画像化問題を、前方画像化プロセスを微分可能ニューラルネットワークとしてモデル化することで解決する。この手法は、複素数オブジェクトを学習可能な重みとして扱い、バックプロパゲーションにより最適化することで、大規模バッチとAdam最適化法を用いて優れた性能で高解像度の画像再構成を達成する。また、効率的なフォーリエ振幅射影と、単一ピクセル画像化および構造化照明顕微鏡法への拡張も可能である。

ABSTRACT

Fourier ptychography is a recently developed imaging approach for large field-of-view and high-resolution microscopy. Here we model the Fourier ptychographic forward imaging process using a convolution neural network (CNN) and recover the complex object information in the network training process. In this approach, the input of the network is the point spread function in the spatial domain or the coherent transfer function in the Fourier domain. The object is treated as 2D learnable weights of a convolution or a multiplication layer. The output of the network is modeled as the loss function we aim to minimize. The batch size of the network corresponds to the number of captured low-resolution images in one forward / backward pass. We use a popular open-source machine learning library, TensorFlow, for setting up the network and conducting the optimization process. We analyze the performance of different learning rates, different solvers, and different batch sizes. It is shown that a large batch size with the Adam optimizer achieves the best performance in general. To accelerate the phase retrieval process, we also discuss a strategy to implement Fourier-magnitude projection using a multiplication neural network model. Since convolution and multiplication are the two most-common operations in imaging modeling, the reported approach may provide a new perspective to examine many coherent and incoherent systems. As a demonstration, we discuss the extensions of the reported networks for modeling single-pixel imaging and structured illumination microscopy (SIM). 4-frame resolution doubling is demonstrated using a neural network for SIM. We have made our implementation code open-source for the broad research community.

研究の動機と目的

• 深層学習を活用して、フォーリエ位相トモグラフィー顕微鏡法における位相再構成の計算的課題を解決すること。
• エンド・トゥ・エンド最適化を可能にするために、干渉的画像化の前方プロセスを微分可能ニューラルネットワークとしてモデル化すること。
• TensorFlowにおける適応的最適化法とバッチ処理を用いて、収束速度を加速し、再構成品質を向上させること。
• 単一ピクセル画像化および構造化照明顕微鏡法（SIM）を含む、他の干渉的画像化システムへのフレームワークの拡張すること。
• 広範なコミュニティの採用と再現可能性を促進するためのオープンソース実装を提供すること。

提案手法

• フォーリエ位相トモグラフィーにおける前方画像化プロセスを、オブジェクトが畳み込みまたは乗算層内の2次元の学習可能な重みとして表現される微分可能ニューラルネットワークとしてモデル化する。
• ネットワークの入力は、空間領域における点像関数または周波数領域における干渉的伝達関数のいずれかである。
• ネットワークの出力は、シミュレートされた低解像度画像と撮影された低解像度画像の差に相当する損失関数として定義される。
• 各バッチが1セットの撮影済み低解像度画像に対応するミニバッチバックプロパゲーションとAdam最適化法を用いてトレーニングを実行する。
• フォーリエ振幅射影は、収束を加速するための乗算層ニューラルネットワークを用いて効率的に実装される。
• ネットワークアーキテクチャと損失定式化を調整することで、フレームワークを単一ピクセル画像化および構造化照明顕微鏡法（SIM）に拡張する。

実験結果

リサーチクエスチョン

• RQ1 微分可能ニューラルネットワークフレームワークは、位相再構成のためのフォーリエ位相トモグラフィー画像化の前方プロセスを効果的にモデル化できるか？
• RQ2 学習率、最適化法、バッチサイズなどのハイパーパrameterが再構成品質および収束速度に与える影響はいかほどか？
• RQ3 提案されたCNNベースのアプローチは、単一ピクセル画像化およびSIMのような他の干渉的画像化システムへ一般化可能か？
• RQ4 標準的手法と比較して、乗算層ネットワークを用いたフォーリエ振幅射影のパフォーマンス向上はどの程度か？
• RQ5 TensorFlowのような現代の深層学習ライブラリを用いることで、フレームワークはどの程度高速化・スケーリング可能か？

主な発見

• Adam最適化法を用い、大規模バッチサイズを採用することで、テストされた設定すべてにおいて一貫して最高の再構成性能が得られた。
• 提案されたニューラルネットワークフレームワークは、従来の反復的手法と比較して、収束速度と頑健性が向上した高解像度画像再構成を可能にした。
• 乗算層ネットワークによるフォーリエ振幅射影の実装は、位相再構成プロセスを顕著に高速化した。
• 神経ネットワークベースのアプローチにより、構造化照明顕微鏡法（SIM）において4フレームによる解像度倍増が成功裏に実現された。
• オープンソースのコードベースにより、再現性が確保され、さまざまな干渉的画像化応用への適応が容易になった。
• 畳み込みおよび乗算演算を用いた、干渉的および非干渉的画像化システムの両方をモデル化する汎用的なフレームワークが提供された。