[논문 리뷰] End-to-end reconstruction meets data-driven regularization for inverse problems

Subhadip Mukherjee, Marcello Carioni외 2명|arXiv (Cornell University)|2021. 06. 07.

Medical Imaging Techniques and Applications참고 문헌 30인용 수 12

한 줄 요약

이 논문은 적대적 훈련을 통해 깊이 신경망으로 학습된 정규화자와 반복적 언롤링을 조합하여, 정의되지 않은 역문제에 대한 비지도 엔드투엔드 복원 방법을 제안한다. 이 방법은 빠르고 고성능의 복원을 달성하며, X선 CT에서 최신 비지도 방법을 능가하고 감독 학습 기준과 동등한 성능을 내지만, 워샤프스키안-1 거리 기반 정규화 프레임워크를 통해 변분 방법의 잘 정의된 문제성과 노이즈 안정성 보장을 유지한다.

ABSTRACT

We propose an unsupervised approach for learning end-to-end reconstruction operators for ill-posed inverse problems. The proposed method combines the classical variational framework with iterative unrolling, which essentially seeks to minimize a weighted combination of the expected distortion in the measurement space and the Wasserstein-1 distance between the distributions of the reconstruction and ground-truth. More specifically, the regularizer in the variational setting is parametrized by a deep neural network and learned simultaneously with the unrolled reconstruction operator. The variational problem is then initialized with the reconstruction of the unrolled operator and solved iteratively till convergence. Notably, it takes significantly fewer iterations to converge, thanks to the excellent initialization obtained via the unrolled operator. The resulting approach combines the computational efficiency of end-to-end unrolled reconstruction with the well-posedness and noise-stability guarantees of the variational setting. Moreover, we demonstrate with the example of X-ray computed tomography (CT) that our approach outperforms state-of-the-art unsupervised methods, and that it outperforms or is on par with state-of-the-art supervised learned reconstruction approaches.

연구 동기 및 목표

• 기존 엔드투엔드 및 학습된 정규화 방법의 한계를 해결하기 위해, 특히 엔드투엔드 학습에서 이론적 보장을 부족하게 하는 점과 변분 해법의 높은 계산 비용을 해결하고자 한다.
• 언롤드 엔드투엔드 네트워크의 계산 효율성과 변분 정규화의 잘 정의된 문제성과 노이즈 안정성 간의 균형을 이루는 프레임워크를 개발하고자 한다.
• 쌍체의 진짜 데이터가 필요 없이 적대적 훈련을 통해 데이터 적응형 정규화자를 학습시켜 비지도 훈련을 가능하게 하고자 한다.
• 언롤드 네트워크를 변분 최소화의 초기화로 사용하여 수렴 속도와 복원 품질을 향상시키고자 한다.
• 학습된 엔드투엔드 연산자와 해당 변분 목표 간의 이론적 및 실증적 연결을 수립하고자 한다.

제안 방법

• 복원된 결과와 진짜 데이터 분포 간의 워샤프스키안-1 거리 기반 정규화를 포함한 변분 문제를 정의하며, 측정 공간에서 L2 노름으로 측정된 데이터 적합성과 가중합을 최소화한다.
• 변분 프레임워크의 정규화자는 깊이 신경망으로 매개변수화되며, 적대적 학습을 통해 언롤드 복원 연산자와 함께 공동으로 훈련된다.
• 20층, 5×5 필터를 가진 언롤드 복원 네트워크는 경사 하강법을 통한 변분 문제 해결을 위한 효과적인 초기화를 제공하여 수렴 속도를 크게 향상시킨다.
• 복원 결과와 진짜 이미지 간의 분포 유사성을 강제하기 위해 GAN 유사 디스criminator를 사용하여 비지도 훈련을 가능하게 한다.
• 엔드투엔드 복원 이후 정밀도 단계를 적용하여 영상 품질을 추가로 향상시키고 오차를 감소시키며 구조적 세부 정보를 강화한다.
• 방법은 PSNR와 SSIM을 지표로 사용하여 희소 시야 X선 CT에서 평가되었으며, FBP, TV, LPD, U-Net 후처리, AR, ACR와의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 엔드투엔드 언롤드 복원 네트워크가 데이터 기반 정규화자가 포함된 변분 문제의 초기화로 효과적으로 사용될 수 있는가? 이는 수렴 속도와 복원 품질 향상에 기여하는가?
• RQ2 적대적 훈련과 변분 정규화를 조합하면 비지도 역문제에서 더 나은 일반화와 노이즈 안정성을 달성할 수 있는가?
• RQ3 제안된 방법이 영상 품질과 계산 효율성 측면에서 기존의 비지도 및 감독 학습 기반 복원 기법보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 학습된 정규화자가 변분 해법의 안정성과 잘 정의된 문제성에 어떤 영향을 미치는가?
• RQ5 정규화 펜alties 가중치 λ는 데이터 적합성과 분포 일치 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• X선 CT에서 모든 테스트 이미지에 걸쳐 제안된 UAR 방법은 적대적 정규화자(AR)보다 0.3 dB, 그 볼록 변형(ACR)보다 2.6 dB 높은 PSNR 성능을 기록했다.
• 정밀도 단계를 적용한 UAR는 AR보다 약 0.7 dB 높은 PSNR 성능을 기록했으며, 감독 학습 방법인 U-Net 후처리와 동등한 성능을 달성했다.
• 엔드투엔드 UAR 복원은 AR보다 수십 배 빠르며, 정밀도 단계를 사용할 경우 4배 빠른 속도 향상을 보였다.
• 모든 테스트 이미지에서 평균 성능을 뛰어나지 않게 일관되게 향상시켜 강력한 일반화 능력을 보였다.
• 언롤드 네트워크는 훌륭한 초기화를 제공하여 변분 솔버의 수렴에 필요한 반복 횟수를 줄였다.
• 이 프레임워크는 엔드투엔드 모델의 빠른 추론 성능와 변분 정규화의 이론적 보장 간의 조합을 성공적으로 이룩하여, 비지도 환경에서 최신 기술 수준의 성능을 달성했다.