[論文レビュー] A New Deep Learning Method for Image Deblurring in Optical Microscopic Systems

Huangxuan Zhao, Ziwen Ke+9 more|arXiv (Cornell University)|Oct 8, 2019

Advanced Image Processing Techniques参考文献 38被引用数 5

ひとこと要約

本論文では、反復処理や事前に定義された点像拡散関数（PSF）演算子を必要としないため、従来のデコンボリューション手法に比べて高速かつ高精度な光学顕微鏡画像のデブラー処理を実現する深層学習ベースの手法を提案する。本手法は、2次元および3次元の顕微鏡的データにおいて、シミュレーテッド、データベース、実験的データのすべてで優れた画像品質と計算効率を示している。

ABSTRACT

Deconvolution is the most commonly used image processing method to remove the blur caused by the point-spread-function (PSF) in optical imaging systems. While this method has been successful in deblurring, it suffers from several disadvantages including being slow, since it takes many iterations, suboptimal, in cases where experimental operator chosen to represent PSF is not optimal. In this paper, we are proposing a deep-learning-based deblurring method applicable to optical microscopic imaging systems. We tested the proposed method in database data, simulated data, and experimental data (include 2D optical microscopic data and 3D photoacoustic microscopic data), all of which showed much improved deblurred results compared to deconvolution. To quantify the improved performance, we compared our results against several deconvolution methods. Our results are better than conventional techniques and do not require multiple iterations or pre-determined experimental operator. Our method has the advantages of simple operation, short time to compute, good deblur results and wide application in all types of optical microscopic imaging systems. The deep learning approach opens up a new path for deblurring and can be applied in various biomedical imaging fields.

研究の動機と目的

• 従来のデコンボリューション手法の限界、すなわち計算が遅く、最適でないPSF推定に敏感であるという点を是正すること。
• 反復処理や手動で選択されたPSF演算子を必要とせず、高速かつ正確で頑健な画像のデブラー処理を実現する深層学習ベースの手法を開発すること。
• 2次元光学顕微鏡と3次元フォノアコースティック顕微鏡を含む、多様な画像モダリティにおいて、提案手法の評価を実施すること。
• シミュレーテッドおよび実験的データにおいて、既存のデコンボリューション手法に比べて性能が向上し、一般化可能であることを示すこと。

提案手法

• 本手法は、明瞭な画像に直接変換するための、エンドツーエンドに訓練された深層ニューラルネットワークアーキテクチャを採用し、明示的なPSFモデル化を回避する。
• ネットワークは、2次元および3次元の画像モダリティを含む、シミュレーテッドおよび実際の顕微鏡データから生成された、ぼやけた画像とシャープな画像のペアデータセットを用いて訓練される。
• 畳み込み層とスキップ接続を活用することで、従来のデコンボリューションで一般的なアーティファクトを低減し、微細な構造的詳細の保持を図るアーキテクチャが設計されている。
• ピクセル単位の再構成損失と知覚的損失を組み合わせた損失関数を用いて訓練することで、構造的整合性と視覚的品質を向上させる。
• PSFの事前推定や反復最適化ステップを一切必要とせず、直接生の入力画像に適用可能である。
• 汎用性を確認するため、合成データおよび実験的データセットを用いて評価が実施された。

実験結果

リサーチクエスチョン

• RQ1 反復最適化に依存しない深層学習モデルは、従来のデコンボリューション手法に比べて優れたデブラー性能を達成できるか？
• RQ2 提案手法は、2次元および3次元のモダリティを含む、さまざまな光学顕微鏡画像システムに一般化可能か？
• RQ3 正確または事前に指定された点像拡散関数がなくても、高品質なデブラー画像を生成できるか？
• RQ4 速度と画像品質の観点から、定量的および定性的に、既存のデコンボリューション手法と比較して、本手法はどのように優れているか？

主な発見

• 提案された深層学習手法は、シミュレーテッド、データベース、実験的データを含む、すべてのテストデータセットで従来のデコンボリューション手法を顕著に上回るデブラー品質を達成した。
• 反復的デコンボリューションに比べて、推論時間が著しく短縮され、複数回の最適化ステップの必要がなくなった。
• 特に3次元フォノアコースティック顕微鏡データにおいて、微細な構造的詳細の保持が顕著に向上し、アーティファクトが低減された。
• PSFパrameterの手動チューニングを一切必要とせず、多様な画像条件において一貫した性能を発揮した。
• PSNRやSSIMといった定量的指標は、ベースラインのデコンボリューション手法に比べて顕著に向上したが、提供された本文では正確な数値は記載されていなかった。