[논문 리뷰] Unsupervised Deep Basis Pursuit: Learning inverse problems without ground-truth data

Jonathan I. Tamir, Stella X. Yu외 1명|arXiv (Cornell University)|2019. 10. 29.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 22

한 줄 요약

이 논문은 MRI와 같은 역문제의 이미지 복원을 지도 학습 없이 수행할 수 있도록, 측정값의 노이즈 통계만을 사용하여 깊이 있는 컨volution 네트워크(이하 CNN) 사전와 이미지 복원을 동시에 최적화하는 비지도 딥 베이시스 퍼스위트(Deep Basis Pursuit, DBP)를 제안한다. 이 방법은 지도 학습에 근접한 복원 품질을 달성하여, 고해상도 동적 MRI와 같이 완전 촬영 데이터를 확보하기 어려운 응용 분야에 유용하다.

ABSTRACT

Basis pursuit is a compressed sensing optimization in which the l1-norm is minimized subject to model error constraints. Here we use a deep neural network prior instead of l1-regularization. Using known noise statistics, we jointly learn the prior and reconstruct images without access to ground-truth data. During training, we use alternating minimization across an unrolled iterative network and jointly solve for the neural network weights and training set image reconstructions. At inference, we fix the weights and pass the measurements through the network. We compare reconstruction performance between unsupervised and supervised (i.e. with ground-truth) methods. We hypothesize this technique could be used to learn reconstruction when ground-truth data are unavailable, such as in high-resolution dynamic MRI.

연구 동기 및 목표

• 지상 참조 데이터를 확보하기 어려운 상황에서 이미지 복원을 위한 딥 러닝 모델을 훈련하는 데 도전하는 것.
• 측정값과 지상 참조 이미지의 쌍이 필요 없이, 알려진 노이즈 통계를 활용해 깊이 있는 CNN 사전를 훈련하는 방법을 개발하는 것.
• 완전 촬영 데이터를 확보하기 어려운 고비용 또는 불가능한 역문제, 예를 들어 저해상도 MRI에 대해 강건한 모델 기반 딥 러닝을 가능하게 하는 것.
• 측정 도메인 손실을 사용한 비지도 훈련이 지도 학습 수준의 복원 성능에 도달할 수 있음을 보여주는 것.

제안 방법

• 기존의 ℓ₁-노름 정규화를 깊이 있는 CNN 기반 사전로 대체하여, 이미지 복원을 제약 조건이 있는 최적화 문제로 공식화한다.
• 훈련 중에 측정값과 정방향 투영된 복원값 간 잔차 오차가 노이즈 한계 ε 이내에 있도록, CNN 가중치와 복원 이미지를 교차 최적화한다.
• 훈련 중 손실는 유클리드 노름을 사용해 측정 도메인(푸리에 도메인)에서 계산되며, 이는 이미지 도메인 오차의 노이즈가 섞인 대체 측정값이다.
• 네트워크 아키텍처는 실수 및 허수 성분을 별도의 채널로 처리하는, 미분 가능한 U-Net을 편향하여 구현된, 비틀어진(unrolled) 구조로, CNN 및 데이터 일致성 레이어를 전방향 및 역방향 전파로 통합한다.
• 추론 시에는 훈련된 CNN 가중치를 고정하고, 새로운 측정값을 네트워크를 통해 통과시켜 지상 참조 없이 복원 이미지를 생성한다.
• 제안된 방법은 저해상도 다중 채널 MRI에서 평가되었으며, 비지도 DBP, 지도 학습 DBP, MoDL와의 성능 비교를 통해 테스트 및 검증 세트에서 NRMSE로 평가되었다.

실험 결과

연구 질문

• RQ1 지상 참조 이미지에 접근할 수 없을 때, 깊이 있는 CNN 사전가 효과적으로 학습되어 이미지 복원에 활용될 수 있는가?
• RQ2 측정값의 노이즈 통계만을 사용한 비지도 훈련이 지도 학습에 비해 복원 품질에서 어떤가?
• RQ3 비틀어진 네트워크에서 하드한 데이터 일치 제약 조건을 사용할 경우, 지상 참조 없이도 안정성과 성능 향상이 이루어지는가?
• RQ4 지상 참조 데이터 없이도, MoDL와 같은 최신 지도 학습 기반 방법과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 최적의 비틀림 수(12회)를 사용할 경우, 비지도 DBP는 테스트 세트에서 평균 NRMSE 0.085를 달성하여 PICS(NRMSE = 0.102)와 MoDL(NRMSE = 0.098)를 모두 능가했다.
• 지상 참조 데이터 없이도 비지도 DBP는 지도 학습 DBP에 비해 5% 이내의 성능 차이를 보이며 강력한 성능을 확보했다.
• 비지도 방법은 추론 시 비틀림 수가 다양할 경우에도 더 안정적인 성능을 보였으며, 10회 이상의 비틀림 수에서 성능 저하가 거의 없었고, 반면 MoDL는 높은 비틀림 수에서 과적합을 보였다.
• 중간 특징 맵 분석 결과, 지도 학습 DBP 네트워크가 비지도 변형보다 이미지 특징을 더 잘 증폭하고 노이즈를 제거하는 경향을 보였지만, 두 모델 모두 유사한 구조적 사전를 학습했다.
• 비지도 훈련 과정에서는 이미지 도메인 오차의 노이즈가 섞인 대체 측정값을 사용하기 때문에, 최적화 업데이트가 더 노이즈가 섞여 있었으며, 이는 훈련 중 NRMSE 곡선의 진동으로 확인되었다.
• 5회의 비틀림으로 훈련한 비지도 DBP의 테스트 세트 NRMSE는 0.092였고, 검증 세트 최적화된 비틀림 수(12회)로 조정하면 0.085로 감소하여 추론 하이퍼파rameter 조정이 성능 향상에 기여함을 보였다.