[논문 리뷰] Deep Image Reconstruction using Unregistered Measurements without Groundtruth

Weijie Gan, Yu Sun외 4명|arXiv (Cornell University)|2020. 09. 29.

Medical Imaging Techniques and Applications참고 문헌 16인용 수 4

한 줄 요약

이 논문은 지도학습이 요구하는 참값 영상이 없이, 등록되지 않은, 잡음이 있는 MRI 측정치로부터 동시에 영상 복원과 비정적 정렬을 수행하는 새로운 비지도 딥러닝 방법 U-Dream을 제안한다. 이중 CNN 아키텍처를 사용해 영상 복원과 운동장 추정을 동시에 학습함으로써, 강력한 비틀림 변형이 존재하는 25%의 저속도 샘플링 조건에서도 기준 방법 대비 최대 1.3 dB 향상된 PSNR와 0.02 향상된 SSIM을 달성하여 최신 기술 수준의 성능을 확보한다.

ABSTRACT

One of the key limitations in conventional deep learning based image reconstruction is the need for registered pairs of training images containing a set of high-quality groundtruth images. This paper addresses this limitation by proposing a novel unsupervised deep registration-augmented reconstruction method (U-Dream) for training deep neural nets to reconstruct high-quality images by directly mapping pairs of unregistered and artifact-corrupted images. The ability of U-Dream to circumvent the need for accurately registered data makes it widely applicable to many biomedical image reconstruction tasks. We validate it in accelerated magnetic resonance imaging (MRI) by training an image reconstruction model directly on pairs of undersampled measurements from images that have undergone nonrigid deformations.

연구 동기 및 목표

• 의료 영상에서 지도학습의 핵심적 한계를 해결하기 위해, 대규모로 정확하게 정렬된 참값 영상이 학습에 필요로 하는 문제를 해결하고자 한다.
• 정확한 참값 영상이 없이도, 등록되지 않은, 잡음이 있는 측정치로부터 직접 영상 복원 네트워크의 엔드 투 엔드 학습을 가능하게 하는 방법을 개발하고자 한다.
• 오직 원시 측정치 쌍만을 사용하여, 영상 복원과 비정적 영상 정렬을 약한 지도 학습 방식으로 동시에 최적화하고자 한다.
• 강력한 가속화 MRI에서, 특히 환자 운동으로 인한 심한 변형이 발생하는 상황에서도 잡음을 감소시키고 미세한 구조를 유지함으로써 영상 품질을 향상시키고자 한다.

제안 방법

• U-Dream는 이중 브랜치 CNN 아키텍처를 사용한다: 한 브랜치(h_θ)는 등록되지 않은 k-space 측정치로부터 잡음이 있는 영상을 복원하고, 다른 브랜치(g_φ)는 복원된 영상 쌍 간의 비정적 변형장을 추정한다.
• 이 방법은 예측된 원시 측정치와 실제 측정치 간의 차이를 최소화함으로써 복원 네트워크를 학습하며, 전방 측정 모델과의 일致성을 강제하는 손실 함수를 사용한다.
• 이미지 왜곡 연산을 구현하기 위해 공간 변환 네트워크(STN)를 사용하여 학습 중에 미분 가능한 이미지 정렬을 가능하게 한다.
• 참값 영상이 필요 없이, 동일한 환자로부터의 등록되지 않은, 저속도로 샘플링된 k-space 데이터 쌍을 사용해 두 네트워크를 공동으로 학습한다.
• 학습 목표는 예측 측정치와 실제 측정치 간의 복원 손실을 최소화하는 것으로, 비지도 학습을 위한 Noise2Noise 원리를 활용한다.
• 합성 비정적 변형장은 변형 강도를 제어하는 파rameter(σ = 10, 18)를 가진 벡터장 생성 방법을 사용하여 MRI 스캔에서의 실제 환자 운동을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 등록되지 않은 측정치 쌍을 활용하여 참값 영상이 전혀 없이도 딥러닝 기반 영상 복원을 효과적으로 학습할 수 있는가?
• RQ2 영상 복원과 비정적 정렬을 동시에 최적화하면, 운동 잡음으로 인한 영상 왜곡 상황에서 영상 품질을 향상시킬 수 있는가?
• RQ3 환자 운동으로 인해 영상가 등록이 어긋나는 상황에서 U-Dream의 성능이 지도학습 및 비지도 기반 기준 방법과 비교해 어떻게 되는가?
• RQ4 비정렬을 무시하거나 사전 보정하는 방법과 비교해 U-Dream이 얼마나 잘 미세한 구조적 세부 정보를 복원하고 블러링을 줄일 수 있는가?

주요 결과

• 25%의 저속도 샘플링 조건에서 σ=10일 경우 U-Dream은 테스트 세트에서 PSNR 31.60 dB, SSIM 0.945를 달성하여, 다음으로 우수한 방법(SyN+N2N)보다 PSNR 1.3 dB 향상되고 SSIM 0.02 향상되었다.
• 더 강한 변형(σ=18) 조건에서도 U-Dream은 높은 성능(PSNR: 31.67 dB, SSIM: 0.947)을 유지하여 비정적 운동에 대한 강건성을 입증했다.
• 비정렬 N2N에 비해 U-Dream은 블러를 감소시키고 가장자리 선명도를 향상시켰으며, 그림 2의 빨간 화살표로 표시된 영역에서 SyN+N2N는 여전히 부드러움을 보였다.
• U-Dream의 복원과 정렬의 공동 최적화는 뚜렷한 잡음 억제와 대trast 유지 성능을 보였으며, 이는 시각적 및 정량적 방법으로 모두 검증되었다.
• N2V는 영상의 구조적 잡음이 존재하는 제로-필링된 MRI에서의 노이즈 비일관성 가정이 성립하지 않아 성능이 열악하여 결과에서 제외되었다.
• U-Dream의 복원과 정렬의 공동 최적화는 시각적 및 정량적 검증을 통해 뛰어난 잡음 억제와 대trast 유지 성능을 보였다.