[論文レビュー] PgNN: Physics-guided Neural Network for Fourier Ptychographic Microscopy

Yongbing Zhang, Yangzhe Liu+5 more|arXiv (Cornell University)|Sep 19, 2019

Advanced X-ray Imaging Techniques参考文献 39被引用数 5

ひとこと要約

本稿では、高解像度で広視野の画像を、教師ありラベルや大規模なアノテート済みデータセットを必要とせずに再構成できる、フォーリエパティクログラフィック顕微鏡用の物理的制約を組み込んだニューラルネットワーク、PgNNを提案する。前向きな画像形成プロセスを、全般に解釈可能な物理的制約（例えば、全変動正則化やゼルニケ多項式を用いた像収差補償）を備えた学習可能なニューラルネットワークとしてモデル化することにより、PgNNは、高ディフォーカスおよび高露出条件下でも、教師なしで堅牢に再構成を可能にし、シミュレート済みおよび実験的データセットにおいて、従来の手法を上回る性能を発揮する。

ABSTRACT

Fourier ptychography (FP) is a newly developed computational imaging approach that achieves both high resolution and wide field of view by stitching a series of low-resolution images captured under angle-varied illumination. So far, many supervised data-driven models have been applied to solve inverse imaging problems. These models need massive amounts of data to train, and are limited by the dataset characteristics. In FP problems, generic datasets are always scarce, and the optical aberration varies greatly under different acquisition conditions. To address these dilemmas, we model the forward physical imaging process as an interpretable physics-guided neural network (PgNN), where the reconstructed image in the complex domain is considered as the learnable parameters of the neural network. Since the optimal parameters of the PgNN can be derived by minimizing the difference between the model-generated images and real captured angle-varied images corresponding to the same scene, the proposed PgNN can get rid of the problem of massive training data as in traditional supervised methods. Applying the alternate updating mechanism and the total variation regularization, PgNN can flexibly reconstruct images with improved performance. In addition, the Zernike mode is incorporated to compensate for optical aberrations to enhance the robustness of FP reconstructions. As a demonstration, we show our method can reconstruct images with smooth performance and detailed information in both simulated and experimental datasets. In particular, when validated in an extension of a high-defocus, high-exposure tissue section dataset, PgNN outperforms traditional FP methods with fewer artifacts and distinguishable structures.

研究の動機と目的

• フォーリエパティクログラフィック（FP）顕微鏡におけるラベル付きデータの不足と、光学的収差のばらつきに取り組むこと。
• ニューラルネットワークフレームワークに物理的画像形成原理を組み込むことで、大規模な教師あり学習データへの依存を低減すること。
• デフォーカスおよび露出アーティファクトに対してより高い耐性を示す、複雑領域（振幅および位相）の高精度な教師なし再構成を可能にすること。
• 光学的収差に関する事前知識がなくとも、同時に標本画像と対物レンズのピラーファンクションを回復すること。

提案手法

• 再構成された複素画像を学習可能なパラメータとして扱うことで、フォーリエパティクログラフィック画像形成プロセスを微分可能でニューラルネットワークとしてモデル化する。
• 予測された強度画像と撮影された強度画像の間のデータ適合性損失を最小化するため、物体関数とピラーファンクションを交互に最適化する。
• 振幅および位相成分の両方におけるノイズ抑制と画像滑らかさの向上を図るため、全変動（TV）正則化を適用する。
• ピラーファンクションにおける光学的収差のモデル化と補償に、ゼルニケ多項式を学習可能な基底として統合する。
• 教師ありラベルや事前収差データを必要とせず、低解像度で角度が変化した強度画像のみを用いて、教師なしでネットワークを学習する。
• 微分可能な前向きモデルを介してバックプロパゲーションを活用し、画像およびピラーファンクションのエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 物理的制約を組み込んだニューラルネットワークは、大規模なラベル付きデータセットを必要とせずに、高解像度のフォーリエパティクログラフィック画像を再構成できるか？
• RQ2 全変動正則化を組み込むことで、FP再構成における画像品質向上とアーティファクト抑制にどの程度寄与するか？
• RQ3 ゼルニケモード表現は、多様な画像取得条件下で光学的収差に対する耐性をどの程度向上できるか？
• RQ4 教師なしPgNNフレームワークは、高ディフォーカスおよび高露出といった困難な画像取得状況において、従来の反復的手法（ePIE）と比較してどのように優れているか？

主な発見

• PgNNは、特に高ディフォーカスおよび高露出条件下で、ePIEよりも優れた再構成品質を達成しており、アーティファクトが少なく、細胞構造が明瞭に再現されている。
• 全変動正則化の導入により、微細なディテール領域におけるノイズ低減と画像滑らかさの向上が顕著に改善された。
• ゼルニケモード補償により、光学的収差の正確なモデル化が可能になり、さまざまな画像取得条件下での再構成の耐性が向上した。
• 教師ありデータや事前収差知識がなくとも、PgNNは高解像度の振幅および位相画像を正常に回復でき、シミュレート済みおよび実験的データセットにおいて優れた一般化性能を示した。
• TVおよびゼルニケを含む完全なPgNNモデルは、これらの要素を含まないモデルと比較して、視覚的および定量的にも真値に近い再構成を生成した。