[논문 리뷰] Fidelity Imposed Network Edit (FINE) for Solving Ill-Posed Image Reconstruction

Jinwei Zhang, Zhe Liu외 6명|arXiv (Cornell University)|2019. 05. 17.

Advanced X-ray and CT Imaging참고 문헌 48인용 수 10

한 줄 요약

이 논문은 Fidelity Imposed Network Edit (FINE)를 제안하며, 추론 중에 물리적 데이터 일치 모델을 통합함으로써 사전에 훈련된 딥러닝 네트워크를 미세조정하여, 부족한 조건에서의 뇌 영상 재구성 성능을 크게 향상시킨다. FINE는 테스트 데이터에 기반한 네트워크 가중치 수정을 통해 양자화 감수성 맵핑(QSM)과 저샘플링된 MRI 재구성에서 뛰어난 성능을 달성하며, 블러링을 감소시키고 병변의 가시성을 향상시킨다.

ABSTRACT

Deep learning (DL) is increasingly used to solve ill-posed inverse problems in imaging, such as reconstruction from noisy or incomplete data, as DL offers advantages over explicit image feature extractions in defining the needed prior. However, DL typically does not incorporate the precise physics of data generation or data fidelity. Instead, DL networks are trained to output some average response to an input. Consequently, DL image reconstruction contains errors, and may perform poorly when the test data deviates significantly from the training data, such as having new pathological features. To address this lack of data fidelity problem in DL image reconstruction, a novel approach, which we call fidelity-imposed network edit (FINE), is proposed. In FINE, a pre-trained prior network's weights are modified according to the physical model, on a test case. Our experiments demonstrate that FINE can achieve superior performance in two important inverse problems in neuroimaging: quantitative susceptibility mapping (QSM) and under-sampled reconstruction in MRI.

연구 동기 및 목표

• 깊이 학습이 부족한 조건에서의 영상 재구성에 한계를 보이는 데 기인한 물리적 데이터 일치 부족으로 인해 분포 외 데이터에서 실패하는 문제를 해결하기 위해.
• 특히 복잡한 병변이 있는 뇌 영상에서 흔히 발생하는 블러링과 오차 전파 문제를 해결하기 위해.
• 사전에 훈련된 네트워크의 표현 능력을 유지하면서도 테스트 데이터에 대한 물리적 일관성을 강제하는 방법을 개발하기 위해.
• 네트워크 재학습 없이도 QSM 및 저샘플링된 MRI에서 고해상도 재구성을 가능하게 하기 위해.
• 테스트 기반 데이터 일치에 기반한 네트워크 편집이 기존 추론 방식이나 처음부터 학습하는 것보다 더 나은 성능을 내는지 입증하기 위해.

제안 방법

• FINE는 물리적 영상 모델에서 유도된 데이터 일치 항목을 기반으로, 추론 중에 백프로파게이션을 사용하여 사전에 훈련된 딥 네ural 네트워크(예: U-Net)의 가중치를 수정한다.
• 이 방법은 데이터 일치(||W(Ax - y)||²)와 사전 항목을 조합한 손실을 최소화하는 것으로 재구성을 설정하며, 네트워크 가중치는 테스트 입력에 대해 경사 하강법을 통해 업데이트된다.
• 가중치 업데이트는 반복적으로 적용되어 네트워크 출력을 개선하고, 재구성된 영상이 물리적 전진 모델과 측정된 데이터를 만족하도록 보장한다.
• 이 접근법은 영상 콘텐츠와 병변에 가장 민감한 고수준(초기 및 최종) 레이어의 편집에 집중한다.
• FINE는 표준 딥러닝과 동일한 네트워크 아키텍처를 사용하지만, 재학습을 방지하기 위해 테스트 기반의 데이터 기반 가중치 보정 단계를 적용한다.
• 이 방법은 물리적 모델이 알려진 부족한 조건의 역문제를 포함하는 두 가지 뇌 영상 문제인 QSM 및 저샘플링된 k-space MRI에 적용된다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 딥러닝 네트워크가 추론 중에 효과적으로 미세조정되어 부족한 조건의 영상 재구성 정확도를 향상시킬 수 있는가?
• RQ2 추론 중에 데이터 일치 조건을 강제하는 것이 기존 딥러닝 또는 처음부터 학습하는 것과 비교해 재구성 품질에 어떤 영향을 미치는가?
• RQ3 FINE는 일반적으로 기존 딥러닝이 간과하는 고감수성 병변(예: 출혈)을 QSM에서 회복하는 데 효과적인가?
• RQ4 FINE는 저샘플링된 MRI 재구성에서 앨리어징 및 스테이크 아티팩트를 줄이면서도 세밀한 디테일을 유지하는가?
• RQ5 FINE의 가중치 업데이트가 특정 테스트 케이스에 얼마나 의존하는가? 그리고 어떤 네트워크 레이어가 가장 영향을 받는가?

주요 결과

• FINE는 특히 일반적으로 기존 딥러닝이 간과하는 고감수성 병변(예: 출혈)을 회복하는 데 있어 QSM 재구성 품질을 크게 향상시킨다.
• FINE는 QSM에서 블러링을 감소시키고 세밀한 디테일을 유지하며, 시각적 결과로 기존 딥러닝 및 딥 이미지 프라이어와 비교해 뛰어난 병변 대비 및 낮은 잡음 수준을 보여준다.
• 저샘플링된 MRI 재구성에서 FINE는 기존 딥러닝 및 L1-정규화 방법보다 앨리어징 아티팩트를 효과적으로 억제하면서도 이미지의 선명함을 유지한다.
• FINE의 가중치 업데이트는 U-Net의 고수준(초기 및 최종) 레이어에서 가장 두드러지게 나타나, 이 방법이 환자 기반의 영상 콘텐츠와 병변에 적응함을 시사한다.
• 처음부터 학습하는 딥 이미지 프라이어는 만족스러운 QSM 결과를 도출하지 못하여, 사전 훈련된 가중치와 FINE의 테스트 기반 편집의 필요성을 입증한다.
• 출혈과 같은 강한 감수성 원천에서 FINE와 진짜 값 사이의 잔여 오차는 여전히 도전 과제로 남아 있어 향후 개선 여지가 있음을 시사한다.