[논문 리뷰] Joint Reconstruction and Calibration using Regularization by Denoising

Mingyang Xie, Yu Sun외 3명|arXiv (Cornell University)|2020. 11. 26.

Medical Imaging Techniques and Applications참고 문헌 46인용 수 4

한 줄 요약

이 논문은 이미지 복원 및 측정 연산자의 미지 매개변수를 동시에 보정하는 새로운 방법인 보정된 RED (Cal-RED)를 제안한다. 이는 정규화된 복원(RED) 프레임워크를 확장하여, 깊이 학습된 노이즈 제거 사전을 활용해 반복적으로 영상과 연산자 매개변수를 업데이트함으로써, CT 복원에서 최신 기술 수준의 성능을 달성한다. 각도 오차를 5°에서 0.65°로 감소시키고, 신호 대 노이즈비(SNR)를 10.16 dB(보정되지 않은 경우)에서 21.13 dB로 향상시키며, 오라클 RED 방법과의 격격은 0.95 dB 뿐이다.

ABSTRACT

Regularization by denoising (RED) is a broadly applicable framework for solving inverse problems by using priors specified as denoisers. While RED has been shown to provide state-of-the-art performance in a number of applications, existing RED algorithms require exact knowledge of the measurement operator characterizing the imaging system, limiting their applicability in problems where the measurement operator has parametric uncertainties. We propose a new method, called Calibrated RED (Cal-RED), that enables joint calibration of the measurement operator along with reconstruction of the unknown image. Cal-RED extends the traditional RED methodology to imaging problems that require the calibration of the measurement operator. We validate Cal-RED on the problem of image reconstruction in computerized tomography (CT) under perturbed projection angles. Our results corroborate the effectiveness of Cal-RED for joint calibration and reconstruction using pre-trained deep denoisers as image priors.

연구 동기 및 목표

• 매개변수 불확실성이 있는 영상 역문제에서 기존 RED 방법이 측정 연산자의 정확한 지식이 필요로 하는 한계를 해결하기 위해.
• 명시적인 정규화 함수가 필요 없이 강력한 깊이 학습된 노이즈 제거기 사전을 활용한 병렬 복원 및 보정 프레임워크를 개발하기 위해.
• CT의 투과 각도와 같은 영상 시스템 매개변수를 통합 최적화 기반으로 영상 복원과 함께 자동 보정할 수 있도록 하기 위해.
• 노이즈가 많고 각도가 잘못 설정된 경우에도 실제 CT 복원 작업에 대해 검증하여, 오라클 사례에 가까운 강건성과 성능을 입증하기 위해.

제안 방법

• Cal-RED는 RED 프레임워크를 확장하여 반복적인 교차 업데이트 방식을 도입한다: 먼저 측정 연산자 매개변수 θ를 업데이트하고, 그 다음 표준 RED를 사용해 영상 x를 업데이트한다.
• 측정값과 정방향 모델 간 잔차의 ℓ2-노름을 기반으로 한 데이터 일관성 항과, 다양한 노이즈 수준에서 AWGN에 대해 훈련된 DnCNN 네트워크를 통한 노이즈 제거 사전을 통합한다.
• 영상 업데이트 단계는 데이터 일관성 항의 기울기와 노이즈 제거 연산자 Dσ(x)를 활용하며, 핵심 식은 ∇gθ(x*) + τ(x* − Dσ(x*)) = 0이다.
• 매개변수 업데이트 단계는 데이터 일관성과 사전 기반 정규화를 균형 잡는 공동 목적 함수를 최소화함으로써 유도되며, 이는 동시에 보정과 복원을 가능하게 한다.
• 알고리즘은 ADMM 유사 교차 방식으로 구현되며, 노이즈 제거기(Denoiser)는 사전의 프록시멀 연산자 역할을 하며, RED 및 플러그 앤 플레이 사전과 모두 호환된다.
• 방식은 라돈 변환을 정방향 모델로 사용하고, SNR 및 각도의 평균 제곱 오차(RMSE)를 평가 지표로 사용하여, 왜곡된 투과 각도를 가진 시뮬레이션된 CT 데이터에서 검증되었다.

실험 결과

연구 질문

• RQ1 명시적인 정규화 함수가 필요 없이 깊이 학습된 노이즈 제거기를 사전으로 활용하는 병렬 복원 및 보정 프레임워크를 설계할 수 있는가?
• RQ2 투과 각도가 심하게 잘못 설정되었을 때(예: 5° 오차), Cal-RED는 CT 복원에서 각도 오차를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 노이즈가 많고 각도가 잘못 설정된 조건에서, Cal-RED는 보정되지 않은 RED 및 기타 기준 대비 영상 품질(SNR로 측정)을 얼마나 향상시키는가?
• RQ4 초기 매개변수가 매우 부정확한 상황에서도, 진짜 각도를 알고 있는 오라클 RED 방법에 가까운 성능을 Cal-RED가 달성할 수 있는가?

주요 결과

• Cal-RED는 초기 5°의 각도 오차를 0.65°로 감소시켜 7배 이상 감소시키며 강력한 보정 능력을 입증한다.
• 입력 시노그램 SNR가 30 dB이고 각도 오차가 5°일 때, Cal-RED는 보정되지 않은 RED의 10.16 dB에서 21.13 dB로 SNR 향상을 이루며 오라클 RED 성능에 가까워진다.
• 입력 SNR가 30 dB이고 각도 오차가 5°일 때, Cal-RED는 SNR 21.40 dB를 달성하지만, 보정되지 않은 RED는 오직 10.01 dB에 그친다. 이는 보정의 핵심적 역할을 강조한다.
• 보정 오차가 전혀 없는 경우에도, Cal-RED는 표준 RED 대비 SNR를 단지 0.03 dB 뿐 손실하며, 보정 확장으로 인한 성능 저하가 최소한임을 시사한다.
• Cal-FISTA 및 Cal-LSM보다도 Cal-RED가 SNR 및 각도 보정 정확도 측면에서 뚜렷이 뛰어나며, 보정 작업에서 깊이 학습된 노이즈 제거기 사전의 우수성을 입증한다.
• 시각적 결과에서는 Cal-RED가 미세한 디테일을 잘 유지하면서 고해상도 영상을 생성하며, 과도하게 부드럽게 만드는 U-Net과 차단 무늬를 유발하는 Cal-FISTA를 능가한다.