[논문 리뷰] Image Deconvolution via Noise-Tolerant Self-Supervised Inversion

Hirofumi Kobayashi, Ahmet Can Solak외 2명|arXiv (Cornell University)|2020. 06. 11.

Image and Signal Denoising Methods참고 문헌 23인용 수 12

한 줄 요약

이 논문은 청소년 훈련 데이터, 신호 사전 정보, 노이즈 추정 없이도 노이즈에 강건한 자기지도 학습 역문제 틀을 제안한다. $χ$-불변 이론과 마스킹을 적용한 수정된 자기일致성 손실을 활용하여, CNN이 동시에 이미지 복원 및 노이즈 제거를 수행하도록 훈련시키며, 다양한 기준 데이터셋에서 고전적 방법인 Lucy-Richardson보다 정량적 지표와 시각적 품질 모두에서 뛰어난 성능을 보였다.

ABSTRACT

We propose a general framework for solving inverse problems in the presence of noise that requires no signal prior, no noise estimate, and no clean training data. We only require that the forward model be available and that the noise be statistically independent across measurement dimensions. We build upon the theory of $\mathcal{J}$-invariant functions (Batson & Royer 2019, arXiv:1901.11365) and show how self-supervised denoising \emph{à la} Noise2Self is a special case of learning a noise-tolerant pseudo-inverse of the identity. We demonstrate our approach by showing how a convolutional neural network can be taught in a self-supervised manner to deconvolve images and surpass in image quality classical inversion schemes such as Lucy-Richardson deconvolution.

연구 동기 및 목표

• 청소년 훈련 데이터나 신호 사전 정보에 의존하지 않는 일반적인 노이즈 있는 영상 복원 문제 해결 방법을 개발하기 위해.
• $χ$-불변 틀을 노이즈 제거를 넘어서 복소화 문제 등 더 넓은 역문제로 확장하기 위해.
• 오직 전방 모델과 노이즈 있는 관측값만을 사용하여 CNN의 종단간 훈련을 가능하게 하기 위해.
• 지식 기반 없이도 고전적 방법인 Lucy-Richardson과 TV-정규화 최적화 방법보다 뛰어난 영상 품질을 달성하기 위해.
• 22장의 실제 영상으로 구성된 다양한 기준 데이터셋에서 정량적 및 정성적 지표를 통해 방법을 검증하기 위해.

제안 방법

• 전방 모델과 재구성된 영상 간의 일致성을 강제하는 자기지도 학습 손실을 제안하며, 손상된 영역의 마스킹을 통해 노이즈 억제를 수행한다.
• 정확한 역문제 해법과 노이즈 억제를 동시에 장려하는 수정된 자기일치성 손실을 도입하여 재구성 과정에서 노이즈가 증폭되지 않도록 방지한다.
• 핵심 기법은 $χ$-불변성으로, 네트워크가 측정 차원에 걸쳐 노이즈에 대해 불변인 함수를 학습함으로써, 노이즈 제거의 Noise2Self을 역문제로 일반화한다.
• 훈련 중에 마스킹 전략을 적용하여 네트워크가 노이즈를 유지하는 것을 방지함으로써 통계적 노이즈 독립성에 대한 강건성을 확보한다.
• 다양이 가능한 전방 모델(예: PSF와의 컨볼루션)과 학습 가능한 역함수 네트워크(예: U-Net)를 사용하며, backpropagation를 통해 훈련한다.
• PyTorch로 구현되었으며, 2D 및 3D 응용을 모두 지원하며, GPU에서 30ms 이내의 추론 시간을 제공한다.

실험 결과

연구 질문

• RQ1 청소년 훈련 데이터 없이도 딥 네트워크가 노이즈 있는 영상을 복소화할 수 있는가?
• RQ2 자기지도 학습은 노이즈 제거를 넘어서 복소화와 같은 일반적인 역문제로 어떻게 확장될 수 있는가?
• RQ3 오직 전방 모델과 노이즈의 통계적 독립성만을 사용하여 노이즈에 강건한 가짜 역행렬을 학습할 수 있는가?
• RQ4 훈련 중 마스킹이 노이즈 증폭을 방지하고 재구성 정밀도를 향상시키는가?
• RQ5 사전 가정 없이도 고전적 솔버인 Lucy-Richardson과 TV-정규화 최적화 방법보다 영상 품질이 뛰어나게 할 수 있는가?

주요 결과

• 제안된 자기지도 역문제(Self-Supervised Inversion, SSI)는 22장의 영상 기준 데이터셋에서 모든 지표에서 최고 성능을 기록하였으며, PSNR = 22.5, SSIM = 0.61, MI = 0.14, SMI = 0.27였다.
• SSI는 5회 반복한 Lucy-Richardson보다 뛰어난 성능을 보였으며, 낮은 노이즈를 가졌음에도 둔탁함이 있었음에도 불구하고 2위를 기록했다.
• GPU에서 이미지당 0.03초 이내의 거의 즉각적인 추론 속도를 달성하여, Conjugate Gradient나 Chambolle-Pock와 같은 CPU 기반 솔버보다 빠르게 작동했다.
• 마스킹 없이도 SSI 모델은 예상보다 우수한 성능을 보였으며, 전방 모델의 저역통과 성질 덕분에 과도한 노이즈 증폭을 피했다.
• 반복적이고 유사한 패턴을 가진 영상에서는 더 높은 복소화 품질을 기록하여, 중복성이 자기지도 학습에 도움이 된다는 것을 시사했다.
• 이 방법은 복소화를 넘어서, 다양한 기능이 가능한 전방 모델과 노이즈에 불변인 측정값을 가진 모든 역문제에 적용 가능하다.