[논문 리뷰] Regularization-Agnostic Compressed Sensing MRI Reconstruction with Hypernetworks

Alan Q. Wang, Adrian V. Dalca외 1명|arXiv (Cornell University)|2021. 01. 06.

Advanced MRI Techniques and Applications참고 문헌 31인용 수 10

한 줄 요약

이 논문은 압축 측정 MRI 복원을 위한 하이퍼네트워크 기반 방법을 제안하며, 정규화 하이퍼파rameter에 기반해 실시간으로 복원 네트워크 가중치를 생성함으로써 재학습 없이 다양한 정규화 수준에서 빠른 추론을 가능하게 한다. 주요 기여는 균일 샘플링에 비해 복원 품질과 다양성을 크게 향상시키는 데이터 기반 하이퍼파rameter 샘플링 전략을 개발한 것으로, 정규화에 민감하지 않은 추론을 유지하면서 기준 모델 수준의 성능을 달성한다.

ABSTRACT

Reconstructing under-sampled k-space measurements in Compressed Sensing MRI (CS-MRI) is classically solved with regularized least-squares. Recently, deep learning has been used to amortize this optimization by training reconstruction networks on a dataset of under-sampled measurements. Here, a crucial design choice is the regularization function(s) and corresponding weight(s). In this paper, we explore a novel strategy of using a hypernetwork to generate the parameters of a separate reconstruction network as a function of the regularization weight(s), resulting in a regularization-agnostic reconstruction model. At test time, for a given under-sampled image, our model can rapidly compute reconstructions with different amounts of regularization. We analyze the variability of these reconstructions, especially in situations when the overall quality is similar. Finally, we propose and empirically demonstrate an efficient and data-driven way of maximizing reconstruction performance given limited hypernetwork capacity. Our code is publicly available at https://github.com/alanqrwang/RegAgnosticCSMRI.

연구 동기 및 목표

• 정규화 가중치가 영상 품질에 크게 영향을 미치는 압축 측정 MRI 복원에서 하이퍼파rameter 민감성 문제를 해결하기 위해.
• 반복적인 재학습 또는 하이퍼파rameter 튜닝이 필요 없도록, 하나의 모델이 다양한 정규화 수준에서 복원을 생성할 수 있도록 하기 위해.
• 학습 중에 정규화 하이퍼파rameter에 대한 최적의 샘플링 분포를 학습함으로써 일반화 능력과 복원 다양성을 향상시키기 위해.
• 사용자가 시각적 검토를 통해 여러 고품질 복원 결과 중에서 선택할 수 있도록 민감한 유연하고 효율적인 워크플로우를 제공하기 위해.
• 모델 용량이 제한된 조건에서 데이터 기반 하이퍼파rameter 샘플링이 균일 샘플링보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 하이퍼네트워크는 정규화 하이퍼파rameter에 따라 복원 네트워크의 가중치를 생성하도록 훈련되어, 테스트 시점에서 동적 적응이 가능하다.
• 하이퍼네트워크는 정규화 가중치를 입력으로 받아 별도의 복원 네트워크(예: U-Net 유사 아키텍처)의 파라미터를 출력한다.
• 훈련 중에 두 가지 샘플링 전략을 평가한다: 균일 하이퍼파rameter 샘플링(UHS)과 새로운 비균일 샘플링(DHS) 전략으로, 고RPSNR 영역에 집중한다.
• DHS 전략은 실질적 복원 품질에 기반해 하이퍼파라미터를 샘플링하여 모델 용량 활용도와 성능을 향상시킨다.
• 복원 품질은 하이퍼파라미터 값의 조밀한 격자에서 RPSNR 경관을 통해 평가되며, 전체 하이퍼파라미터 공간에서 성능을 시각화하고 정량화한다.
• 입력 정규화 가중치를 변화시킴으로써 단일의 저해상도 k-space 측정치에 대해 여러 복원 결과를 실시간으로 추론할 수 있다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 딥러닝 모델이 다양한 정규화 하이퍼파라미터 범위에서 고품질 MRI 복원을 생성할 수 있는가?
• RQ2 훈련 시 하이퍼파라미터 샘플링 전략의 선택이 복원 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 모델 용량이 제한된 조건에서 데이터 기반 하이퍼파라미터 샘플링이 균일 샘플링보다 더 나은 성능을 내는가?
• RQ4 정규화에 민감하지 않은 모델이 기존의 하이퍼파라미터 특화 기준 모델 수준의 성능을 얼마나 잘 따라갈 수 있는가?
• RQ5 하이퍼네트워크 용량과 샘플링 방법에 따라 복원 결과의 범위는 어떻게 달라지는가?

주요 결과

• 제안된 데이터 기반 하이퍼파라미터 샘플링(DHS) 전략은 균일 샘플링에 비해 복원 성능을 크게 향상시키며, 특히 하이퍼네트워크 용량이 제한된 경우 두드러진다.
• 고용량 하이퍼네트워크는 기준 모델 수준의 성능에 근접하지만, 계산 자원과 훈련 시간이 증가하는 비용을 수반한다.
• DHS 전략은 고RPSNR 임계값에서 전체 픽셀 기반 복원 범위를 넓히며, 유사한 품질에도 불구하고 다양한 영상 특성을 반영함을 나타낸다.
• 동일한 입력 측정치에서 RPSNR 값이 거의 동일하더라도 부드러움과 세부 정보의 정도가 상당히 다를 수 있으며, 이는 모델이 다양한 출력을 생성할 수 있음을 보여준다.
• DHS 모델의 RPSNR 경관는 UHS에 비해 더 넓고 고품질 영역을 포함하며, 핵심 RPSNR 임계값을 초과하는 영역이 더 크다.
• 이 방법은 사용자 선택을 위한 효율적이고 실시간으로 여러 복원 결과를 생성할 수 있게 하여, 임상 또는 연구 워크플로우의 민감한 유연성을 지원한다.