[논문 리뷰] N2V2 -- Fixing Noise2Void Checkerboard Artifacts with Modified Sampling Strategies and a Tweaked Network Architecture

Eva Höck, Tim-Oliver Buchholz외 3명|arXiv (Cornell University)|2022. 11. 15.

Cell Image Analysis Techniques인용 수 5

한 줄 요약

N2V2는 N2V의 MaxPool을 BlurPool로 대체하고 잔차 연결 및 최상위 스킵 연결을 제거하며, 새로운 블라인드 스포트 픽셀 대체 전략(평균/중위수)을 도입함으로써 N2V의 노이즈 제거 성능을 향상시켰다. 이러한 변화들은 체스보드 아티팩트를 크게 감소시키며, 추가적인 학습 데이터나 계산 비용 없이도 다양한 현미경 및 자연 이미지 데이터셋에서 최신 기술 수준의 자기지도 학습 노이즈 제거 성능을 달성한다.

ABSTRACT

In recent years, neural network based image denoising approaches have revolutionized the analysis of biomedical microscopy data. Self-supervised methods, such as Noise2Void (N2V), are applicable to virtually all noisy datasets, even without dedicated training data being available. Arguably, this facilitated the fast and widespread adoption of N2V throughout the life sciences. Unfortunately, the blind-spot training underlying N2V can lead to rather visible checkerboard artifacts, thereby reducing the quality of final predictions considerably. In this work, we present two modifications to the vanilla N2V setup that both help to reduce the unwanted artifacts considerably. Firstly, we propose a modified network architecture, i.e., using BlurPool instead of MaxPool layers throughout the used U-Net, rolling back the residual U-Net to a non-residual U-Net, and eliminating the skip connections at the uppermost U-Net level. Additionally, we propose new replacement strategies to determine the pixel intensity values that fill in the elected blind-spot pixels. We validate our modifications on a range of microscopy and natural image data. Based on added synthetic noise from multiple noise types and at varying amplitudes, we show that both proposed modifications push the current state-of-the-art for fully self-supervised image denoising.

연구 동기 및 목표

• 생물의학 영상 분야에서 널리 사용되는 자기지도 학습 노이즈 제거 방법인 Noise2Void(N2V)에서 지속적인 체스보드 아티팩트를 해결하기 위해.
• 이러한 아티팩트의 근본 원인, 특히 MaxPool 레이어, 잔차 연결, 블라인드 스포트 픽셀 대체 전략의 역할을 규명하기 위해.
• U-Net 아키텍처를 수정하고 마스킹된 픽셀에 대한 새로운 대체 전략을 도입하여 노이즈 제거 품질을 향상시키기 위해.
• 미래의 자기지도 학습 노이즈 제거 방법을 위한 공정한 평가를 가능하게 하기 위해, 적절한 훈련/검증/테스트 분할을 갖춘 더 현실적인 새로운 벤치마크 데이터셋(Convallaria_1)을 제공하기 위해.
• 장기적인 훈련 런이 성능을 크게 향상시킨다는 점을 입증하고, 사용자가 훈련을 중단하기 전에 수렴 여부를 반드시 확인하도록 당부하기 위해.

제안 방법

• 체스보드 아티팩트를 줄이기 위해 U-Net의 MaxPool 레이어를 BlurPool 레이어로 대체하여 공간적 다운샘플링을 부드럽게 한다.
• 노이즈가 섞인 잔차 입력으로부터 오는 편향을 줄이고 특징 학습을 향상시키기 위해 U-Net에서 잔차 연결과 최상위 스킵 연결을 제거한다.
• 훈련 중 마스킹된 중심 픽셀을 대체하기 위해 두 가지 새로운 블라인드 스포트 픽셀 대체 전략(평균 및 중위수)을 도입한다.
• 특히 자기지도 학습 방법에서 중요시되는 수렴 보장을 위해, 연장된 훈련 기간을 고려한 수정된 훈련 프로토콜을 사용한다.
• BSD68, Mouse, Flywing 및 새로운 Convallaria_1 데이터셋을 포함한 다양한 데이터셋에서 방법을 검증한다. 이 데이터셋은 현실적인 분할 설정을 갖춘다.
• 모델 성능을 평가하기 위해 진짜 이미지 대비 PSNR를 사용하며, 아키텍처적 및 샘플링 변경의 개별 및 병합 효과를 평가한다.

실험 결과

연구 질문

• RQ1 체스보드 아티팩트가 Noise2Void에서 어떻게 발생하는가? MaxPool 레이어와 잔차 연결은 이 문제에 어떤 기여를 하는가?
• RQ2 MaxPool를 BlurPool로 대체하고 잔차 연결을 제거하면, 노이즈 제거 성능에 영향을 주지 않으면서도 체스보드 아티팩트를 줄일 수 있는가?
• RQ3 다양한 블라인드 스포트 픽셀 대체 전략(평균 대비 중위수)이 자기지도 N2V 훈련에서 노이즈 제거 출력 품질에 어떤 영향을 미치는가?
• RQ4 N2V는 강한 소금-후추 노이즈 환경에서 성능이 떨어지나? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 99장의 노이즈 이미지가 아닌 단일 노이즈 입력 이미지를 갖는 수정된 Convallaria 데이터셋은 자기지도 학습 노이즈 제거 방법의 평가에 더 현실적이고 공정한 기준을 제공할 수 있는가?

주요 결과

• BlurPool 도입, 잔차 연결 및 최상위 스킵 연결 제거의 조합은 기존 N2V 대비 체스보드 아티팩트를 크게 감소시킨다.
• 정성적 평가에서 블라인드 스포트 픽셀에 대한 평균 대체 전략이 중위수 대체 전략보다 일관되게 우수한 성능을 보였지만, 정량적 결과는 혼합된 경향을 보였다.
• 원래의 대체 전략(uwCP)을 사용할 경우, N2V는 소금-후추 노이즈 환경에서 소금 픽셀을 제거하지 못한다. 이는 고대비와 낮은 마스킹 확률로 인해 네트워크가 이들을 유지하도록 학습하기 때문이다.
• 잔차 연결 제거가 노이즈가 심한 환경에서 노이즈가 섞인 잔차 입력으로부터 오는 편향을 줄여 성능 향상에 기여한다.
• 장기적인 훈련 기간은 수렴을 향상시키고 성능을 향상시키며, 이는 이전 문헌에서의 훈련 런이 종종 너무 짧았음을 시사한다.
• 단일 노이즈 입력 이미지를 갖는 새로 제안된 Convallaria_1 데이터셋은 자기지도 학습 노이즈 제거 방법 평가에 더 현실적이고 공정한 벤치마크를 제공하며, 커뮤니티에서 채택되어야 한다.