[論文レビュー] A Poisson-Gaussian Denoising Dataset with Real Fluorescence Microscopy Images

Yide Zhang, Yinhao Zhu+5 more|arXiv (Cornell University)|Dec 26, 2018

Cell Image Analysis Techniques参考文献 32被引用数 14

ひとこと要約

本稿では、共焦点、2光子、ワイドフィールド顕微鏡からのポisson-ガウス雑音を含む12,000枚の実際の蛍光顕微鏡画像を収録したFluorescence Microscopy Denoising（FMD）データセットを紹介する。各サンプルについて50枚のノイズノイズ画像を平均化することで高品質な真値を生成し、5つの雑音レベルのバリエーションを提供することで、10種類の除ノイズアルゴリズムのベンチマークが可能となり、ディープラーニングモデルが最先端の性能を達成し、GPU上でリアルタイム除ノイズが可能である。

ABSTRACT

Fluorescence microscopy has enabled a dramatic development in modern biology. Due to its inherently weak signal, fluorescence microscopy is not only much noisier than photography, but also presented with Poisson-Gaussian noise where Poisson noise, or shot noise, is the dominating noise source. To get clean fluorescence microscopy images, it is highly desirable to have effective denoising algorithms and datasets that are specifically designed to denoise fluorescence microscopy images. While such algorithms exist, no such datasets are available. In this paper, we fill this gap by constructing a dataset - the Fluorescence Microscopy Denoising (FMD) dataset - that is dedicated to Poisson-Gaussian denoising. The dataset consists of 12,000 real fluorescence microscopy images obtained with commercial confocal, two-photon, and wide-field microscopes and representative biological samples such as cells, zebrafish, and mouse brain tissues. We use image averaging to effectively obtain ground truth images and 60,000 noisy images with different noise levels. We use this dataset to benchmark 10 representative denoising algorithms and find that deep learning methods have the best performance. To our knowledge, this is the first real microscopy image dataset for Poisson-Gaussian denoising purposes and it could be an important tool for high-quality, real-time denoising applications in biomedical research.

研究の動機と目的

• 蛍光顕微鏡向けに特化した、実際のポアソン-ガウス雑音を含む除ノイズデータセットの不足に対処すること。
• 複数のモダリティおよび生物学的サンプルからの実際の顕微鏡画像を用いて、高品質で公開可能なデータセットを構築すること。
• 蛍光画像における実世界の雑音特性に基づいた除ノイズアルゴリズムのベンチマークを可能にすること。
• さまざまな雑音レベルおよび画像撮影条件における、古典的手法およびディープラーニングベースの除ノイズ手法の性能を評価すること。
• 動的バイオメディカルイメージング応用におけるリアルタイムで高品質な除ノイズを支援すること。

提案手法

• 各サンプルについて50枚のノイズノイズ画像を平均化することで、ノイズを最小限に抑えつつ構造的詳細を保持した高精度な真値画像を生成する。
• 共焦点、2光子、ワイドフィールド顕微鏡の3つのモダリティで、合計12,000枚の実際の蛍光顕微鏡画像を取得する。
• 細胞、ゼブラフィッシュ、マウス脳組織の3つの生物学的サンプルを含め、多様な生物学的および画像撮影条件をカバーする。
• 露出時間およびレーザー出力を変更することで、5つの異なる雑音レベルに相当する60,000枚のノイズ画像を生成する。
• 単一チャネルおよびマルチチャネル画像の両方で、VST-BM3D、PURE-LET、DnCNN、Noise2Noiseを含む10種類の除ノイズアルゴリズムをベンチマークする。
• CPUおよびGPUでの推論速度を測定するため、PSNRおよびSSIM指標を用いて、未学習のテスト画像に対して評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの除ノイズモデルは、実際の蛍光顕微鏡画像にポアソン-ガウス雑音が存在する状況で、古典的手法に比べてどの程度優れているか？
• RQ2 ノイズノイズフレームの画像平均化によって、除ノイズアルゴリズムの学習およびベンチマークに用いる信頼性の高い真値を生成できるか？
• RQ3 FMDデータセットで学習したディープラーニングモデルは、動的またはライブセルイメージングに適したリアルタイム推論速度を達成できるか？
• RQ4 異なる雑音レベルおよび画像モダリティは、除ノイズアルゴリズムの相対的性能にどのように影響を与えるか？
• RQ5 Noise2Noise設定におけるバッチ正則化や残差学習といったアーキテクチャ的要素は、除ノイズ性能にどのような影響を及えるか？

主な発見

• 特にDnCNNおよびNoise2Noiseといったディープラーニングモデルは、BM3D や KSVD といった古典的手法を大きく上回り、マルチチャネルBPAE細胞画像ではPSNRが36 dBを超える高い性能を達成した。
• バッチ正則化を施したNoise2Noiseは、マルチチャネル共焦点画像でPSNR 36.35 dBを達成し、一部のケースでは教師ありモデルであるDnCNNをも上回った。
• DnCNNはBPAE細胞でPSNR 36.15 dB、ゼブラフィッシュ胚で32.35 dBを記録し、サンプルおよびモダリティをまたがる優れた一般化性能を示した。
• GPU上で実行した場合、ディープラーニングモデルの除ノイズ速度は256×256ピクセルのパッチあたり1 ms未満にまで短縮され、1秒間に最大100フレームのリアルタイム処理が可能になった。
• DnCNNにおける残差学習は、非残差バージョンと比較して0.5–1 dBの性能向上をもたらし、本除ノイズ文脈におけるその有効性を裏付けた。
• FMDデータセットは http://tinyurl.com/y6mwqcjs で公開されており、ベンチマークコードも併せて提供されており、再現可能な評価および今後のアルゴリズム開発を支援する。