[논문 리뷰] MicroSSIM: Improved Structural Similarity for Comparing Microscopy Data

Ashesh Ashesh, J.R. Deschamps외 1명|arXiv (Cornell University)|2024. 08. 16.

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 저SNR, 고강도, 오프셋 영향을 받는 현미경 영상 데이터에서 SSIM의 실패를 해결하기 위해 특화된 수정된 구조적 유사도 지표인 MicroSSIM를 제안한다. 배경 제거, 영상 다운스케일링, 적응형 강도 스케일링을 적용함으로써 MicroSSIM는 포화 효과를 감소시키고 구조적 차이에 대한 민감도를 향상시켜 실제 현미경 데이터셋에서 노이즈 제거 및 분할 작업에서 표준 SSIM보다 뛰어난 성능을 보인다.

ABSTRACT

Microscopy is routinely used to image biological structures of interest. Due to imaging constraints, acquired images, also called as micrographs, are typically low-SNR and contain noise. Over the last few years, regression-based tasks like unsupervised denoising and splitting have found utility in working with such noisy micrographs. For evaluation, Structural Similarity (SSIM) is one of the most popular measures used in the field. For such tasks, the best evaluation would be when both low-SNR noisy images and corresponding high-SNR clean images are obtained directly from a microscope. However, due to the following three peculiar properties of the microscopy data, we observe that SSIM is not well suited to this data regime: (a) high-SNR micrographs have higher intensity pixels as compared to low-SNR micrographs, (b) high-SNR micrographs have higher intensity pixels than found in natural images, images for which SSIM was developed, and (c) a digitally configurable offset is added by the detector present inside the microscope which affects the SSIM value. We show that SSIM components behave unexpectedly when the prediction generated from low-SNR input is compared with the corresponding high-SNR data. We explain this by introducing the phenomenon of saturation, where SSIM components become less sensitive to (dis)similarity between the images. We propose an intuitive way to quantify this, which explains the observed SSIM behavior. We introduce MicroSSIM, a variant of SSIM, which overcomes the above-discussed issues. We justify the soundness and utility of MicroSSIM using theoretical and empirical arguments and show the utility of MicroSSIM on two tasks: unsupervised denoising and joint image splitting with unsupervised denoising. Since our formulation can be applied to a broad family of SSIM-based measures, we also introduce MicroMS3IM, a microscopy-specific variation of MS-SSIM.

연구 동기 및 목표

• 고강도, 저SNR, 검출기 오프셋 등 고유한 데이터 특성으로 인해 표준 SSIM의 성능이 떨어지는 현미경 영상 평가 문제를 해결하기 위해.
• 현미경 데이터에서 구조적 차이에 민감하지 않게 되는 SSIM 포화 현상(유사도 점수가 구조적 차이에 영향을 받지 않는 현상)을 특정하고 정량화하기 위해.
• 대상 전처리 및 적응형 스케일링을 통해 강도 불일치와 오프셋 아티팩트를 보정하는 새로운 지표인 MicroSSIM를 개발하기 위해.
• MS-SSIM에 응용하여 다중 척도 평가를 위한 MicroMS3IM를 도입하기 위해.
• 무 supervision 노이즈 제거 및 통합 영상 분할과 같은 실제 작업에서 지표의 우수성을 검증하기 위해.

제안 방법

• 비교 이전에 정면 구조를 분리하기 위해 배경 제거를 적용하는 수정된 SSIM 공식인 MicroSSIM를 제안한다.
• 동적 범위를 줄이고 SSIM 구성 요소의 포화 효과를 완화하기 위해 영상의 다운스케일링을 도입한다.
• 저SNR 및 고SNR 영상의 밝기 조정을 위해 데이터셋 별로 추정된 적응형 강도 스케일링 인자 α를 적용한다.
• 모든 영상 쌍에 걸쳐 일관된 밝기 제거를 보장하기 위해 단일 데이터셋 수준의 β(배경 강도) 추정치를 사용한다.
• 다중 척도 SSIM에 동일한 전처리 및 스케일링 파이프라인을 적용하여 MS-SSIM를 확장함으로써 MicroMS3IM를 생성한다.
• α 추정을 위해 시장에서 유통되는 최적화 기법을 활용하여 실용성과 기존 평가 파이프라인에의 통합을 보장한다.

Figure 1 : Failure mode of SSIM on Microscopy Data. (Top) A noisy microscopy image, i.e . a micrograph, its denoised version predicted using N2V, and the corresponding High-SNR (noise free) ground truth is shown. There is a problem in the evaluation of denoising quality, which is that the pixel inte

실험 결과

연구 질문

• RQ1 표준 SSIM가 널리 사용되고 있음에도 불구하고, 왜 현미경 영상에서 노이즈 제거 성능 평가에 신뢰할 수 없을까?
• RQ2 현미경 데이터의 높은 픽셀 강도와 검출기에서 추가된 오프셋은 SSIM 점수에 어떻게 영향을 미치는가?
• RQ3 SSIM 포화 현상이 노이즈가 많은 영상과 깨끗한 영상 간의 구조적 차이에 대한 민감도를 어느 정도 감소시키는가?
• RQ4 전처리 및 스케일링 파이프라인을 통해 SSIM의 민감도와 신뢰성은 현미경 평가에서 회복될 수 있는가?
• RQ5 실제 노이즈 제거 및 분할 벤치마크에서 MicroSSIM는 SSIM 및 MS-SSIM보다 어떻게 비교되는가?

주요 결과

• MicroSSIM는 모든 SSIM 구성 요소에서 포화 요소 Δ를 크게 감소시켜 특히 구조 항목에서 이미지 차이에 대한 민감도를 향상시킨다.
• 제안된 전처리(배경 제거, 다운스케일링, α 스케일링)는 기대한 바와 같이 고SNR 참조 영상과 순수 노이즈 간의 비교에서 낮은 SSIM 값을 도출하지만, 표준 SSIM는 그렇지 않다.
• MicroSSIM는 비슷한 쌍(예: 참조 영상 대 노이즈 제거 예측)에서는 높은 점수를 유지하면서, 비슷하지 않은 쌍(예: 참조 영상 대 균일한 노이즈)에서는 낮은 점수를 기록하여 올바른 행동을 보인다.
• 데이터셋 수준의 β 추정은 일관되고 신뢰할 수 있는 밝기 제거를 보장하여 SSIM 점수의 인위적 과대평가를 방지한다.
• 다중 척도 확장인 MicroMS3IM는 표준 MS-SSIM보다 향상된 행동을 보이며, 이는 방법이 다른 SSIM 변종으로도 일반화 가능함을 확인한다.
• N2V 및 denoiSplit 모델에 대한 실증 결과는 MicroSSIM가 모델 성능을 더 민감하고 의미 있는 점수 감소를 통해 보다 잘 반영함을 보여준다.

Figure 2 : Comparison with baselines: In this figure, different SSIM variants are applied between GT and prediction by N2V and we show the three SSIM components namely Luminance, Contrast, and Structure. Noisy input, prediction, and noise-free ground-truth comprise the first row with histograms in t