[논문 리뷰] Learning a Variational Network for Reconstruction of Accelerated MRI Data

Kerstin Hammernik, Teresa Klatzer외 5명|arXiv (Cornell University)|2017. 04. 03.

Advanced MRI Techniques and Applications참고 문헌 32인용 수 28

한 줄 요약

이 논문은 가속화된 다중 코ils MRI 데이터를 복원하기 위해 딥러닝과 변분 최적화를 통합한 변분 네트워크를 제안한다. 압축 감지 기반 최적화 절차를 펼쳐내고, 필터 가중치, 활성화 함수, 데이터 일치 항목 등 모든 파라미터를 엔드 투 엔드 학습을 통해 학습함으로써, 단일 GPU에서 193ms 내로 고품질의 잡음이 적은 복원을 달성하여, 모든 가속도 요인과 샘플링 패턴에서 표준 방법을 능가한다.

ABSTRACT

Purpose: To allow fast and high-quality reconstruction of clinical accelerated multi-coil MR data by learning a variational network that combines the mathematical structure of variational models with deep learning. Theory and Methods: Generalized compressed sensing reconstruction formulated as a variational model is embedded in an unrolled gradient descent scheme. All parameters of this formulation, including the prior model defined by filter kernels and activation functions as well as the data term weights, are learned during an offline training procedure. The learned model can then be applied online to previously unseen data. Results: The variational network approach is evaluated on a clinical knee imaging protocol. The variational network reconstructions outperform standard reconstruction algorithms in terms of image quality and residual artifacts for all tested acceleration factors and sampling patterns. Conclusion: Variational network reconstructions preserve the natural appearance of MR images as well as pathologies that were not included in the training data set. Due to its high computational performance, i.e., reconstruction time of 193 ms on a single graphics card, and the omission of parameter tuning once the network is trained, this new approach to image reconstruction can easily be integrated into clinical workflow.

연구 동기 및 목표

• 기존의 압축 감지와 병렬 영상 기법의 한계, 즉 긴 복원 시간과 초파rameter 조정에 대한 민감성을 해결하기 위해.
• 압축 감지에서 수작업으로 설계된 희박성 사전 정보에 의존하는 것에서 벗어나, 블록 모양의 자연스럽지 않은 이미지를 유발하여 방사선 전문의의 수용도를 낮추는 문제를 해결하기 위해.
• 수학적 구조를 유지하는 변분 모델의 수학적 구조를 통합하면서도, 모든 파라미터를 엔드 투 엔드 최적화할 수 있는 학습 기반 복원 프레임워크를 개발하기 위해.
• 온라인 복원 시간을 단축하고, 각 새로운 스캔에 대한 수동 초파rameter 조정이 필요 없도록 하기 위해, 최적화 작업을 오프라인 학습 단계로 이동시키기 위해.
• 표준 압축 감지 조건을 위반하는 저밀도 샘플링 조건에서도 강력하고 고정밀도의 가속 MRI 데이터 복원을 가능하게 하기 위해.

제안 방법

• 압축 감지 복원을 위한 변분 최적화 절차를 고정된 수의 레이어로 펼쳐내어 반복 최적화를 피드포워드 신경망으로 전환한다.
• 각 레이어는 코ils 감도 정보를 사용하여 데이터 일치 업데이트를 수행하고, 가우시안 라디얼 기저 함수를 활성화 함수로 사용하는 컨볼루션 필터를 통해 학습된 사전 정보를 적용한다.
• 사전 정보는 국소 필터 응답의 가중합으로 모델링되며, 학습 가능한 필터 가중치와 커널 파라미터를 통해 적응형 정규화를 가능하게 한다.
• 모든 파라미터 — 필터 커널, 가중치, 데이터 일치 항목 — 은 역전파를 통해 펼쳐진 네트워크를 거쳐 오프라인 학습 단계에서 공동 최적화된다.
• 네트워크는 잔차 연결 구조를 사용하고, 전체 펼쳐진 과정을 거쳐 기울기 계산을 포함하여 엔드 투 엔드 역전파를 가능하게 한다.
• 최종 복원은 GPU에서 단일 전방 계산을 통해 이루어지며, 최소한의 추론 시간 조정으로 실시간 성능을 달성한다.

실험 결과

연구 질문

• RQ1 표준 압축 감지 조건(비상관성, 희박성)이 충족되지 않을 때, 딥러닝 기반 접근법이 표준 압축 감지 및 병렬 영상 기법보다 가속 MRI 데이터 복원에서 뛰어난 성능을 보일 수 있는가?
• RQ2 학습 데이터에 명시적으로 포함되지 않은 해부학적 현실성과 임상적 병변을 학습된 변분 모델이 얼마나 잘 유지할 수 있는가?
• RQ3 다양한 가속도 요인에서, 변분 네트워크의 성능이 전통적인 반복 복원 방법과 비교해 이미지 품질과 잡음 감소 측면에서 어떻게 다른가?
• RQ4 제안된 방법이 수동 초파rameter 조정 없이도 임상적으로 실용적인 복원 시간을 달성할 수 있는가?
• RQ5 기울기 가능 최적화 프레임워크의 통합이, 정규화 및 데이터 일치 파라미터를 포함한 이미지 복원 파라미터의 효과적인 엔드 투 엔드 학습을 가능하게 하는가?

주요 결과

• 모든 테스트된 가속도 요인과 샘플링 패턴에서 표준 복원 알고리즘보다 변분 네트워크가 뛰어난 이미지 품질을 달성했다.
• 학습 데이터에 포함되지 않은 병변이 있더라도 자연스러운 조직의 외관과 임상적으로 중요한 병변을 유지하는 복원을 수행했다.
• 특히 복잡한 해부학적 영역과 낮은 신호 대 잡음비 영역에서 잔류 잡음 잡음을 크게 감소시켰다.
• 단일 GPU에서 복원 시간은 193ms 뿐이었으며, 임상 워크플로우에 실시간 통합이 가능했다.
• 학습 후 재조정이 필요 없이도 새로운 데이터에 잘 일반화되어 있어 강건성과 임상 적용 가능성의 우수함을 입증했다.
• 필터 커널, 가중치, 데이터 일치 항목을 포함한 모든 파라미터의 엔드 투 엔드 학습은 수작업 설계된 모델보다 더 효과적이고 적응형인 복원을 가능하게 했다.