[論文レビュー] MicroSSIM: Improved Structural Similarity for Comparing Microscopy Data

Ashesh Ashesh, J.R. Deschamps+1 more|arXiv (Cornell University)|Aug 16, 2024

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、低SNR、高強度、オフセットに影響を受ける顕微鏡画像データにおけるSSIMの失敗を是正するように特化した、MicroSSIMと呼ばれる修正された構造的類似度指標を提案する。背景除去、画像のダウンスケーリング、および適応的強度スケーリングを適用することで、MicroSSIMは飽和効果を軽減し、構造的差異への感受性を向上させ、実際の顕微鏡データセットにおけるノイズ除去および分割タスクにおいて、標準SSIMを上回る性能を発揮する。

ABSTRACT

Microscopy is routinely used to image biological structures of interest. Due to imaging constraints, acquired images, also called as micrographs, are typically low-SNR and contain noise. Over the last few years, regression-based tasks like unsupervised denoising and splitting have found utility in working with such noisy micrographs. For evaluation, Structural Similarity (SSIM) is one of the most popular measures used in the field. For such tasks, the best evaluation would be when both low-SNR noisy images and corresponding high-SNR clean images are obtained directly from a microscope. However, due to the following three peculiar properties of the microscopy data, we observe that SSIM is not well suited to this data regime: (a) high-SNR micrographs have higher intensity pixels as compared to low-SNR micrographs, (b) high-SNR micrographs have higher intensity pixels than found in natural images, images for which SSIM was developed, and (c) a digitally configurable offset is added by the detector present inside the microscope which affects the SSIM value. We show that SSIM components behave unexpectedly when the prediction generated from low-SNR input is compared with the corresponding high-SNR data. We explain this by introducing the phenomenon of saturation, where SSIM components become less sensitive to (dis)similarity between the images. We propose an intuitive way to quantify this, which explains the observed SSIM behavior. We introduce MicroSSIM, a variant of SSIM, which overcomes the above-discussed issues. We justify the soundness and utility of MicroSSIM using theoretical and empirical arguments and show the utility of MicroSSIM on two tasks: unsupervised denoising and joint image splitting with unsupervised denoising. Since our formulation can be applied to a broad family of SSIM-based measures, we also introduce MicroMS3IM, a microscopy-specific variation of MS-SSIM.

研究の動機と目的

• 顕微鏡画像評価における標準SSIMの性能不良を、高強度、低SNR、検出器由来のオフセットといった特徴的なデータ特性に起因するものとして解消すること。
• SSIMの飽和現象を同定および定量化すること。この現象とは、顕微鏡画像において構造的差異に対して類似度スコアが感受性を失う現象である。
• 局所的前処理および適応的スケーリングを通じて、強度の不一致およびオフセットアーチファクトを是正する新しい指標、MicroSSIMの開発。
• MS-SSIMへの応用を拡張し、顕微鏡応用におけるマルチスケール評価を可能にするMicroMS3IMの導入。
• 自己教師学習によるノイズ除去および画像分割の実世界タスクにおいて、指標の優位性を検証すること。

提案手法

• 比較の前にフォアグラウンド構造を分離するために背景除去を適用する、修正されたSSIMの定式化としてMicroSSIMを提案。
• SSIMの各成分における飽和効果を軽減するため、画像のダウンスケーリングを導入。
• 低SNRおよび高SNR画像の輝度を一致させるために、データセットごとに推定される適応的強度スケーリング係数αを適用。
• すべての画像ペアにわたる一貫性ある輝度差し引きを保証するため、1つのデータセットレベルでのβ（背景強度）推定値を用いる。
• 同じ前処理およびスケーリングパイプラインをマルチスケールSSIMに適用することで、MS-SSIMへの応用を拡張し、MicroMS3IMを構築。
• α推定には既存の最適化手法を活用し、実用性および既存の評価パイプラインへの統合を確保。

Figure 1 : Failure mode of SSIM on Microscopy Data. (Top) A noisy microscopy image, i.e . a micrograph, its denoised version predicted using N2V, and the corresponding High-SNR (noise free) ground truth is shown. There is a problem in the evaluation of denoising quality, which is that the pixel inte

実験結果

リサーチクエスチョン

• RQ1 標準SSIMが広く使用されているにもかかわらず、なぜ顕微鏡画像のノイズ除去性能を信頼性高く評価できないのか？
• RQ2 顕微鏡データに見られる高ピクセル強度および検出器由来のオフセットは、SSIMスコアにどのように歪みをもたらすのか？
• RQ3 SSIMの飽和が、ノイズのある顕微鏡画像とクリーンな画像の間の構造的差異に対する感受性をどの程度低下させるのか？
• RQ4 前処理およびスケーリングパイプラインによって、顕微鏡評価におけるSSIMの感受性と信頼性を回復できるか？
• RQ5 実際のノイズ除去および分割ベンチマークにおいて、MicroSSIMはSSIMおよびMS-SSIMに比べてどの程度優れているか？

主な発見

• MicroSSIMは、すべてのSSIM成分において飽和要因Δを顕著に低減し、特に構造項において、画像差異への感受性が向上する。
• 提案された前処理（背景除去、ダウンスケーリング、αスケーリング）により、高SNRの真値と純粋なノイズの間でSSIM値が低下するようになり、これは期待通りの挙動である。標準SSIMとは異なり、これは望ましい性質である。
• MicroSSIMは、類似しない画像ペア（例：GT vs. 均一ノイズ）に対しては低いSSIM値を示し、類似したペア（例：GT vs. ノイズ除去予測）に対しては高いスコアを維持する。これは正しい挙動を示している。
• βのデータセットレベルでの推定により、一貫性があり信頼性の高い輝度差し引きが実現され、SSIMスコアの不自然な上昇が防止される。
• マルチスケール拡張版であるMicroMS3IMは、標準MS-SSIMよりも優れた挙動を示し、本手法の他のSSIM変種への一般化可能性を裏付けている。
• N2VおよびdenoiSplitモデルにおける実験的結果から、MicroSSIMはモデル性能をより敏感かつ意味のあるスコア低下を示す形で反映しており、劣化予測に対してより適切なスコアの減少を示している。

Figure 2 : Comparison with baselines: In this figure, different SSIM variants are applied between GT and prediction by N2V and we show the three SSIM components namely Luminance, Contrast, and Structure. Noisy input, prediction, and noise-free ground-truth comprise the first row with histograms in t