[논문 리뷰] Can Un-trained Neural Networks Compete with Trained Neural Networks at Image Reconstruction?

Mohammad Zalbagi Darestani, Reinhard Heckel|arXiv (Cornell University)|2020. 07. 06.

Medical Imaging Techniques and Applications참고 문헌 31인용 수 8

한 줄 요약

이 논문은 FastMRI 데이터셋에서 가속화된 MRI 재구성에 대해 훈련되지 않은 신경망에 기반한 수정된 컨볼루션 디코더 아키텍처를 제안한다. 이는 Deep Image Prior와 Deep Decoder에서 영감을 받은 것으로, 훈련된 U-Net과 동등한 성능을 달성한다. 이 방법은 분포 외 입력에 대해 강력한 내성적 저항성을 보이며, 고품질 이미지 재구성에 대규모 훈련 데이터가 반드시 필요하다는 전제를 도전한다.

ABSTRACT

Convolutional Neural Networks (CNNs) are highly effective for image reconstruction problems. Typically, CNNs are trained on large amounts of training images. Recently, however, un-trained neural networks such as the Deep Image Prior and Deep Decoder have achieved excellent image reconstruction performance for standard image reconstruction problems such as image denoising and image inpainting, without using any training data. This success raises the question whether un-trained neural networks can compete with trained ones for practical imaging tasks. To address this question, we consider accelerated magnetic resonance imaging (MRI), an important medical imaging problem, which has received significant attention from the deep-learning community, and for which a dedicated training set exists. We study and optimize un-trained architectures, and as a result, propose a variation of the architectures of the deep image prior and deep decoder. We show that the resulting convolutional decoder out-performs other un-trained methods and---most importantly---achieves on-par performance with a standard trained baseline, the U-net, on the FastMRI dataset, a new dataset for benchmarking deep learning based reconstruction methods. Besides achieving on-par reconstruction performance relative to trained methods, we demonstrate that a key advantage over trained methods is robustness to out-of-distribution examples.

연구 동기 및 목표

• 훈련되지 않은 신경망이 실질적인 의료 영상 작업에서 훈련된 딥러닝 모델과 비교할 만한 성능를 달성할 수 있는지 조사하는 것.
• 비정상적인 k-스페이스 데이터로부터 고해상도 재구성을 요구하는 핵심 의료 영상 문제인 가속화된 MRI 재구성 문제를 해결하는 것.
• 특히 저자료 또는 분포 이탈 상황에서의 재구성 품질과 내성적 저항성을 향상시키기 위해 훈련되지 않은 아키텍처를 최적화하는 것.
• FastMRI 데이터셋에서 표준 훈련된 기준 모델인 U-Net과의 성능 비교를 위해 훈련되지 않은 모델의 성능을 평가하는 것.

제안 방법

• 저자는 Deep Image Prior와 Deep Decoder에서 유래한 수정된 컨볼루션 디코더 아키텍처를 개발하여 이미지 재구성 작업에 적합하게 조정하였다.
• 이 아키텍처는 학습된 가중치가 없고, 모든 컨볼루션과 피드포워드 네트워크로 구성되어 있으며, 재구성을 위해 네트워크 구조의 인덕티브 바이어스에 의존한다.
• 이 방법은 이미지 데이터에 대한 사전 훈련 없이도, 재구성 손실을 최소화하기 위해 경사 하강법을 사용해 네트워크의 잠재 코드를 최적화한다.
• 저자는 하이퍼파라미터와 아키텍처 구성 요소를 최적화하기 위해 광범위한 아블레이션 연구를 수행하여 기존의 훈련되지 않은 기준 모델보다 성능을 향상시켰다.
• 최종 모델은 표준 메트릭인 PSNR와 SSIM를 사용하여 MRI 재구성의 벤치마크로 사용되는 FastMRI 데이터셋에서 평가되었다.
• 내성적 저항성은 분포 외 데이터, 즉 비-FastMRI 스캔과 다양한 가속도 요소에서의 테스트를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 실제 의료 영상 작업에서 훈련되지 않은 신경망이 U-Net과 같은 최신 기술의 훈련된 모델과 비교해 유사한 재구성 성능를 달성할 수 있는가?
• RQ2 아키텍처 수정과 최적화 전략에 따라 훈련되지 않은 아키텍처의 성능가 어떻게 변화하는가?
• RQ3 훈련된 모델과 비교해 훈련되지 않은 모델가 분포 이탈에 대해 어떤 이점을 제공하는가?
• RQ4 대규모 훈련 데이터가 없이도 고해상도 재구성 정밀도를 유지하면서 MRI 재구성에서 훈련 데이터의 필요성을 제거할 수 있는가?

주요 결과

• 제안된 훈련되지 않은 컨볼루션 디코더는 PSNR와 SSIM로 측정된 FastMRI 데이터셋에서 훈련된 U-Net 기준 모델과 동등한 재구성 성능를 달성한다.
• 기존의 훈련되지 않은 아키텍처인 원본 Deep Image Prior와 Deep Decoder보다 재구성 품질과 수렴 속도에서 뛰어난 성능를 보였다.
• 훈련되지 않은 모델는 다양한 가속도 요소와 비-FastMRI 스캔 유형을 포함한 분포 외 입력에 대해 뚜렷한 내성적 저항성을 보였다.
• 훈련 데이터와 학습된 가중치가 없기 때문에, 새로운 데이터 분포로의 일반화 능력이 향상되었으며, 이는 훈련된 모델과 비교해 핵심적인 이점이다.