[논문 리뷰] Deep image prior for 3D magnetic particle imaging: A quantitative comparison of regularization techniques on Open MPI dataset

Sören Dittmer, Tobias Kluth외 2명|arXiv (Cornell University)|2020. 07. 03.

Characterization and Applications of Magnetic Nanoparticles참고 문헌 47인용 수 4

한 줄 요약

이 논문은 학습 데이터가 필요하지 않은 비학습 신경망을 활용해 이미지 사전 지식을 암묵적으로 코딩하는 3D 딥 이미지 프리두어(DIP)를 도입하여 자기입자영상(MPI) 재구성에 응용한다. 오픈 MPI 데이터셋에서 DIP 방법은 변분 및 반복 정규화 기법들을 능가하며, 형태 펌프(phantom)에 대해 최고의 PSNR(32.92)와 SSIM(0.951)를 기록하고, 해상도 펌프에 대해서도 PSNR 32.92와 SSIM 0.951를 달성하여 조기 정지 기법을 통해 뛰어난 이미지 품질과 노이즈 구조에 대한 강건성을 입증한다.

ABSTRACT

Magnetic particle imaging (MPI) is an imaging modality exploiting the nonlinear magnetization behavior of (super-)paramagnetic nanoparticles to obtain a space- and often also time-dependent concentration of a tracer consisting of these nanoparticles. MPI has a continuously increasing number of potential medical applications. One prerequisite for successful performance in these applications is a proper solution to the image reconstruction problem. More classical methods from inverse problems theory, as well as novel approaches from the field of machine learning, have the potential to deliver high-quality reconstructions in MPI. We investigate a novel reconstruction approach based on a deep image prior, which builds on representing the solution by a deep neural network. Novel approaches, as well as variational and iterative regularization techniques, are compared quantitatively in terms of peak signal-to-noise ratios and structural similarity indices on the publicly available Open MPI dataset.

연구 동기 및 목표

• 라벨이 있는 학습 데이터가 필요 없이 자기입자영상(MPI) 재구성에 대한 새로운 3D 딥 이미지 프리두어(DIP) 방법을 개발하는 것.
• 공개된 오픈 MPI 데이터셋에서 전통적인 변분 및 반복 정규화 기법들과의 정량적 비교를 수행하는 것.
• MPI 재구성 품질에 영향을 주는 다양한 데이터 일치 항목(ℓ1 대비 ℓ2)과 정규화 전략의 영향을 평가하는 것.
• 조기 정지 및 네트워크 아키텍처가 DIP 기반 MPI 재구성의 이미지 품질에 미치는 영향을 조사하는 것.
• MPI 측정치의 노이즈 구조와 비정규 분포 특성을 고려할 때, ℓ1 데이터 일치 항목이 MPI에 더 적합한지 평가하는 것.

제안 방법

• DIP 방법은 무작위 가중치를 가진 피드포워드 신경망으로 이미지 재구성을 표현하며, 네트워크 아키텍처를 통해 암묵적으로 이미지 사전 지식을 강제함으로써 학습 데이터가 필요 없이 데이터 일치 항목을 최소화한다.
• 이 방법은 스위프 커넥션을 갖춘 3D U-Net 유사 아키텍처를 사용하여 과도하게 샘플링된 또는 노이즈가 있는 측정치로부터 부피형 MPI 데이터를 재구성한다.
• 과적합을 방지하고 일반화 능력을 향상시키기 위해 확률적 경사 하강법과 함께 조기 정지를 사용하여 최적화를 수행한다.
• 데이터 일치 항목은 측정된 신호와 네트워크 출력에 적용된 정방향 모델 간의 ℓ1 또는 ℓ2 노름으로 정의된다.
• 정규화는 총변동 또는 티호노프 정규화와 같은 명시적 페널티 항목을 피하고 네트워크 아키텍처를 통해 암묵적으로 코딩된다.
• 이 방법은 오픈 MPI 데이터셋의 두 가지 펌프에서 Kaczmarz 유형의 반복 방법(KACZ)과 다양한 페널티 항목(ℓ1, ℓ2, TV)을 갖춘 변분 방법(VAR)과 비교된다.

실험 결과

연구 질문

• RQ1 학습 데이터가 필요 없이 3D MPI 재구성에서 딥 이미지 프리두어(DIP)가 전통적인 정규화 기법들을 능가할 수 있는가?
• RQ2 DIP 및 변분 방법에서 데이터 일치 항목의 선택(ℓ1 대비 ℓ2)이 재구성 품질에 어떤 영향을 미치는가?
• RQ3 조기 정지는 DIP 성능에 어떤 영향을 미치며, 제한된 반복 횟수를 갖는 반복 방법과 비교해 볼 때 어떻게 다른가?
• RQ4 KACZ 방법에서 ℓ2와 ℓ1 페널티의 조합이 기존 ℓ2 전용 접근법보다 재구성 품질을 향상시키는가?
• RQ5 MPI 측정치의 기저 노이즈 구조를 고려할 때, ℓ1 데이터 일치 항목이 ℓ2보다 더 적합한가?

주요 결과

• DIP 방법은 해상도 펌프에 대해 최고의 PSNR(32.92)와 SSIM(0.951)를 기록했으며, 형태 펌프에 대해서도 PSNR 32.92와 SSIM 0.951를 달성하여 모든 SNR 임계값에서 다른 모든 방법들을 능가했다.
• 조기 정지를 통해 DIP 방법은 뛰어난 성능을 보였으며, 이는 제한된 학습 스텝이 과적합을 방지하고 재구성 품질을 향상시킨다는 것을 시사한다.
• ℓ2와 ℓ1 페널티를 조합한 KACZ 방법(Dℓ2 + P(ℓ1+ℓ2))는 해상도 펌프에서 두 번째로 높은 PSNR(31.82)와 SSIM(0.949)를 기록했으며, 표준 ℓ2 전용 KACZ보다 우수한 성능을 보였다.
• ℓ1 데이터 일치 항목을 사용한 DIP 방법(Dℓ1 + P-*)은 해상도 펌프에서 최고의 PSNR(32.92)와 SSIM(0.951)를 기록하여 ℓ1 일치 항목이 MPI 노이즈 특성에 더 적합함을 시사한다.
• ℓ1 데이터 일치 항목을 사용한 변분 방법(VAR Dℓ1 + Pℓ1)은 해상도 펌프에서 PSNR 30.43과 SSIM 0.915를 기록했으며, ℓ2 기반 변분 방법보다 유의미하게 뛰어난 성능을 보였다.
• 이 연구는 ℓ1 데이터 일치 항목이 ℓ2보다 MPI에 더 적합하며, 특히 노이즈 구조가 비정규 분포일 경우에 더 적합함을 확인하였으며, DIP 및 변분 방법 모두에서 개선된 결과로 뒷받침된다.