[논문 리뷰] Suppression of Correlated Noise with Similarity-based Unsupervised Deep Learning

Chuang Niu, Mengzhou Li외 5명|arXiv (Cornell University)|2020. 11. 06.

Image and Signal Denoising Methods인용 수 8

한 줄 요약

이 논문은 쌍체의 청소된-노이즈 이미지가 필요 없이, 단일 노이즈 이미지 내의 부분 영상 간 유사성을 활용하여 독립적이고 상관관계가 있는 노이즈를 억제하는 새로운 비지도 딥러닝 방법인 Noise2Sim을 제안한다. 저선량 및 포톤 수세기 CT에서 지도 학습 방법과 비교해도 성능이 유사하거나 뛰어나며, 약한 조건 하에서 지도 학습과 이론적으로 동일하다.

ABSTRACT

Image denoising is a prerequisite for downstream tasks in many fields. Low-dose and photon-counting computed tomography (CT) denoising can optimize diagnostic performance at minimized radiation dose. Supervised deep denoising methods are popular but require paired clean or noisy samples that are often unavailable in practice. Limited by the independent noise assumption, current unsupervised denoising methods cannot process correlated noises as in CT images. Here we propose the first-of-its-kind similarity-based unsupervised deep denoising approach, referred to as Noise2Sim, that works in a nonlocal and nonlinear fashion to suppress not only independent but also correlated noises. Theoretically, Noise2Sim is asymptotically equivalent to supervised learning methods under mild conditions. Experimentally, Nosie2Sim recovers intrinsic features from noisy low-dose CT and photon-counting CT images as effectively as or even better than supervised learning methods on practical datasets visually, quantitatively and statistically. Noise2Sim is a general unsupervised denoising approach and has great potential in diverse applications.

연구 동기 및 목표

• 기존 비지도 노이즈 제거 방법이 독립적 노이즈를 가정하고 저선량 및 포톤 수세기 CT 영상에서 상관관계가 있는 노이즈에 실패하는 한계를 해결하기 위해.
• 저선량 및 포톤 수세기 CT와 같이 상관관계가 있는 노이즈가 있는 영상에서 효과적으로 노이즈를 제거할 수 있는 일반적인 비지도 딥러닝 프레임워크를 개발하기 위해.
• 약한 조건 하에서 제안된 방법이 지도 학습과 渐近적으로 동일하다는 이론적 기반을 확립하기 위해.
• 실제 3D 저선량 CT 및 4D 포톤 수세기 CT 데이터셋에서 이 방법의 실용적 효과성을 입증하기 위해.
• 재현 가능성을 보장하고 광범위한 활용을 가능하게 하기 위해 공개된 코드베이스와 데이터셋을 제공하기 위해.

제안 방법

• Noise2Sim은 단일 노이즈 이미지에서 유도된 내재적으로 정렬된 부분 영상(patch)을 사용하여 딥 네트워크를 비지도 방식으로 학습한다.
• 이 방법은 이미지 전역에 걸쳐 반복되거나 구조적으로 유사한 패치를 식별하고 활용함으로써 비국소적 유사성(nonlocal similarity)을 활용한다.
• 노이즈 제거 작업을 자기지도 학습(self-supervised learning) 문제로 설정하여, 각 패치를 그 유사한 이웃 패치들로부터 예측한다. 이를 위해 깊이 컨볼루션 신경망을 사용한다.
• 학습 목표는 예측된 패치와 원본 노이즈 패치 간의 재구성 오차를 최소화하는 것으로, 유사한 패치들이 동일한 기저의 청소된 신호를 공유한다는 사실을 활용한다.
• 이 방법은 비국소적이고 비선형적이므로, 국소 평균화를 넘어서는 복잡한 노이즈 구조와 패턴을 포착할 수 있다.
• 이론적 분석을 통해 약한 조건 하에서 Noise2Sim이 지도 학습인 Noise2Clean 학습과 渐近적으로 동일하다는 것을 증명하였다.

실험 결과

연구 질문

• RQ1 쌍체의 청소된-노이즈 이미지가 필요 없이 비지도 딥러닝 방법이 의료 CT 영상에서 상관관계가 있는 노이즈를 효과적으로 억제할 수 있는가?
• RQ2 Noise2Sim의 성능은 저선량 및 포톤 수세기 CT 데이터셋에서 지도 학습 및 기존 비지도 노이즈 제거 방법과 비교해 어떻게 되는가?
• RQ3 이미지 패치 간의 유사성 활용이 국소적 또는 독립적 노이즈 가정에 비해 노이즈 제거 성능 향상에 얼마나 기여하는가?
• RQ4 약한 조건 하에서 제안된 비지도 방법이 지도 학습과 이론적으로 동일한가?
• RQ5 Noise2Sim은 독립적 노이즈를 가진 자연 이미지로 일반화 가능한가? 그리고 최첨단 비지도 방법과 비교해 어떻게 되는가?

주요 결과

• Noise2Sim은 실용적인 저선량 및 포톤 수세기 CT 데이터셋에서 시각적, 정량적, 통계적으로 지도 학습 방법과 유사하거나 뛰어난 노이즈 제거 성능을 달성한다.
• 이 방법은 CT 영상에서 상관관계가 있는 노이즈를 효과적으로 억제하여, 기존 비지도 방법이 독립적 노이즈를 가정한다는 한계를 극복한다.
• 3D 저선량 CT 및 4D 포톤 수세기 CT 데이터셋에서 Noise2Sim은 전통적인 노이즈 제거 방법과 최첨단 비지도 딥러닝 네트워크를 일관되게 능가한다.
• 이론적 분석을 통해 약한 조건 하에서 Noise2Sim이 지도 학습과 渐近적으로 동일하다는 것이 확인되어, 학습 능력의 타당성을 검증하였다.
• 독립적 노이즈를 가진 자연 이미지에 대한 광범위한 실험을 통해 Noise2Sim은 Noise2Void 및 Noise2Self와 같은 최첨단 비지도 방법과 경쟁력을 갖춘다.
• 이 방법은 일반적이며 CT를 넘어서 다양한 영상 응용 분야에 적용 가능하며, 재현 가능성을 위해 공개된 코드와 데이터셋을 제공한다.