[논문 리뷰] Experimental design for MRI by greedy policy search

Tim Bakker, Herke van Hoof외 1명|arXiv (Cornell University)|2020. 10. 30.

Model Reduction and Neural Networks참고 문헌 44인용 수 6

한 줄 요약

이 논문은 히وري스틱 및 비그리디 방법보다 우수한 성능을 보이는 적응형 MRI 부분 샘플링 전략을 학습하기 위해 탐욕적 정책 탐색을 사용하는 강화학습 접근법을 제안한다. 놀랍게도, 탐욕적 방법은 더 단순한 기울기 추정에도 불구하고 낮은 정책 업데이트 분산 덕분에 근사 최적 성능을 달성한다. 이는 고정된 측정 예산 하에서 개별 영상에 대한 적응성이 향상된 재구성 품질 향상에 필수적임을 시사한다.

ABSTRACT

In today's clinical practice, magnetic resonance imaging (MRI) is routinely accelerated through subsampling of the associated Fourier domain. Currently, the construction of these subsampling strategies - known as experimental design - relies primarily on heuristics. We propose to learn experimental design strategies for accelerated MRI with policy gradient methods. Unexpectedly, our experiments show that a simple greedy approximation of the objective leads to solutions nearly on-par with the more general non-greedy approach. We offer a partial explanation for this phenomenon rooted in greater variance in the non-greedy objective's gradient estimates, and experimentally verify that this variance hampers non-greedy models in adapting their policies to individual MR images. We empirically show that this adaptivity is key to improving subsampling designs.

연구 동기 및 목표

• 가속화된 영상 촬영에서 히وري스틱 기반 MRI 부분 샘플링 마스크의 한계를 해결하기 위해.
• 강화학습을 통한 적응적 데이터 기반 실험 설계가 고정 또는 비적응 전략보다 재구성 품질을 향상시킬 수 있는지 탐색하기 위해.
• 최적의 k-space 샘플링 패턴을 학습하는 데 있어 탐욕적 및 비탐욕적 정책 최적화 간의 상호 상충 관계를 조사하기 위해.
• 정책 기반 방법이 고정된 측정 예산 하에서 해부학적 차이를 고려해 개별 영상에 적합한 샘플링 전략을 효과적으로 학습할 수 있는지 평가하기 위해.

제안 방법

• 강화학습을 사용해 MRI 부분 샘플링을 순차적 결정 문제로 공식화하며, 정책 네트워크가 현재 재구성 결과를 기반으로 k-space 샘플을 선택한다.
• 서로 다른 재구성 모델(예: 딥 네트워크)을 사용하여 부분 샘플링된 k-space 데이터를 처리하고, 정책 네트워크의 입력으로 사용되는 저해상도 영상을 출력한다.
• 각 샘플링 단계 이후 재구성 영상과 참값 영상 간의 구조적 유사도(SSIM) 향상을 기반으로 보상 신호를 사용한다.
• 정책 기반 방법을 두 가지 변형으로 적용: 탐욕적(즉각적 보상 최대화) 및 비탐욕적(감가율 γ=0.9를 사용한 향후 보상 할인).
• 정책 네트워크가 출력하는 이산 확률 분포에서 행동을 샘플링하고, REINFORCE에 기반한 베이스라인을 사용해 기울기를 추정한다.
• 스토하스틱 경사 하강법를 사용해 정책 네트워크를 엔드 투 엔드로 훈련하며, 고정된 측정 예산 하에서 더 높은 재구성 품질을 최적화한다.

실험 결과

연구 질문

• RQ1 탐욕적 정책 탐색 방법이 비용이 더 높은 비탐욕적 방법보다 재구성 품질과 훈련 안정성 측면에서 뛰어나게 성능을 내는가?
• RQ2 장기적 보상 고려 없이도 탐욕적 접근 방식이 근사 최적 성능을 달성하는 이유는 무엇인가?
• RQ3 비탐욕적 목표에서의 기울기 분산은 정책 적응성과 훈련 중 수렴에 어떤 영향을 미치는가?
• RQ4 고정 또는 비적응 전략 대비 개별 MRI 영상에 대한 적응성이 부분 샘플링 설계 향상에 얼마나 기여하는가?
• RQ5 정책 기반 방법이 다양한 해부학적 구조에 일반화 가능한 영상 특화 샘플링 패턴을 효과적으로 학습할 수 있는가?

주요 결과

• 탐욕적 정책 탐색 방법은 복잡한 비탐욕적 접근 방식에 비해 단순함에도 불구하고 재구성 품질이 거의 동일한 성능을 달성했다.
• 비탐욕적 방법은 기울기 추정의 높은 분산으로 인해 훈련 중 개별 MRI 영상에 대한 적응 능력이 떨어졌다.
• 탐욕적 방법은 기울기 분산이 훨씬 낮아, 특히 후기 훈련 에포크에서 더 안정적이고 효과적인 정책 학습을 이끌었다.
• 무릎 데이터셋에서 탐욕적 모델은 30번째 에포크에 평균 SNR 5.90을 기록했고, 비탐욕적 모델은 1.08로 떨어져 수렴 불량을 보였다.
• 뇌 데이터셋에서는 탐욕적 모델이 30번째 에포크에 SNR 14.50을 달성했고, 비탐욕적 모델은 2.02로 떨어져 비탐욕적 접근의 불안정성을 더욱 확인했다.
• 시각화 결과 탐욕적 정책가 저주파 k-space 영역을 효과적으로 샘플링하는 법을 학습했으며, 특히 장수평선 설정에서 알려진 최적 샘플링 패턴과 일치함을 확인했다.