[논문 리뷰] SANTIS: Sampling-Augmented Neural neTwork with Incoherent Structure for MR image reconstruction

Fang Liu, Lihua Chen외 2명|arXiv (Cornell University)|2018. 12. 08.

Advanced MRI Techniques and Applications참고 문헌 34인용 수 6

한 줄 요약

SANTIS는 샘플링 증강 학습을 통해 과도 샘플링 패턴의 변동에 대한 강건성을 향상시키는 초고속 MRI 재구성용 딥러닝 프레임워크이다. 학습 중 다양한 k-공간 과도 샘플링 패턴을 적용하고, 데이터 무결성과 사이클 일관성 있는 적대적 네트워크를 사용함으로써 SANTIS는 뛰어난 영상 품질, 낮은 잡음, 그리고 카르테시안 및 골든 앵글 레디얼 영상과 같은 다양한 샘플링 궤적에서 일관된 성능을 달성한다.

ABSTRACT

Deep learning holds great promise in the reconstruction of undersampled Magnetic Resonance Imaging (MRI) data, providing new opportunities to escalate the performance of rapid MRI. In existing deep learning-based reconstruction methods, supervised training is performed using artifact-free reference images and their corresponding undersampled pairs. The undersampled images are generated by a fixed undersampling pattern in the training, and the trained network is then applied to reconstruct new images acquired with the same pattern in the inference. While such a training strategy can maintain a favorable reconstruction for a pre-selected undersampling pattern, the robustness of the trained network against any discrepancy of undersampling schemes is typically poor. We developed a novel deep learning-based reconstruction framework called SANTIS for efficient MR image reconstruction with improved robustness against sampling pattern discrepancy. SANTIS uses a data cycle-consistent adversarial network combining efficient end-to-end convolutional neural network mapping, data fidelity enforcement and adversarial training for reconstructing accelerated MR images more faithfully. A training strategy employing sampling augmentation with extensive variation of undersampling patterns was further introduced to promote the robustness of the trained network. Compared to conventional reconstruction and standard deep learning methods, SANTIS achieved consistent better reconstruction performance, with lower errors, greater image sharpness and higher similarity with respect to the reference regardless of the undersampling patterns during inference. This novel concept behind SANTIS can particularly be useful towards improving the robustness of deep learning-based image reconstruction against discrepancy between training and evaluation, which is currently an important but less studied open question.

연구 동기 및 목표

• 학습 시 사용된 과도 샘플링 패턴과 추론 시의 과도 샘플링 패턴이 다를 경우 딥러닝 기반 MRI 재구성의 낮은 강건성 문제를 해결하기 위해.
• 특히 반복되지 않거나 비일관성 있는 궤적에서 다양한 k-공간 샘플링 패턴에 대해 CNN 기반 재구성 네트워크의 일반화 능력을 향상시키기 위해.
• 다양한 과도 샘플링에 의해 유도된 구조를 효과적으로 인식하고 제거할 수 있도록 네트워크를 학습시키기 위한 전략을 개발하기 위해.
• 카르테시안 및 골든 앵글 레디얼 샘플링 궤적을 사용하여 임상적으로 관련성이 있는 데이터셋에서 프레임워크의 성능을 평가하기 위해.
• 다양한 대조 단계에서 동적 대조 강화 간 영상 재구성에 대해 전이 학습을 탐색하기 위해.

제안 방법

• SANTIS는 영상 재구성 무결성과 시각적 품질을 강제하기 위해 데이터 사이클 일관성 있는 생성 적대적 신경망(Cycle-GAN)을 사용한다.
• 프레임워크는 수거된 k-공간 측정치와의 일관성을 확보하기 위해 엔드 투 엔드 컨volutional 신경망(CNN) 매핑과 데이터 무결성 손실을 통합한다.
• 샘플링 증강은 과도 샘플링 패턴의 다양성을 갖는 라이브러리를 생성함으로써 학습 중에 적용되며, 일반화 능력을 향상시킨다.
• 적대적 학습을 통해 재구성된 영상이 완전 샘플링 기준 영상의 분포와 유사하도록 유도함으로써 현실적인 영상 텍스처와 구조를 유지한다.
• 잔차 학습을 통합하여 과도 샘플링 입력에서 직접 잡음과 아티팩트를 예측하고 제거함으로써 해부학적 대조와 영상 세부 사항을 유지한다.
• 학습 전략은 픽셀 단위 손실, 적대적 손실, 사이클 일관성 손실의 조합을 포함하여 학습 안정성과 재구성 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 샘플링 증강 학습이 다양한 과도 샘플링 패턴에서 딥러닝 기반 MRI 재구성의 강건성을 향상시키는가?
• RQ2 SANTIS는 골든 앵글 레디얼 샘플링과 같이 반복되지 않거나 비일관성 있는 샘플링 궤적에서 영상 재구성을 어떻게 수행하는가?
• RQ3 SANTIS는 다양한 대조 단계에서 동적 대조 강화 간 영상 재구성 시 영상 품질과 해부학적 정확성을 어느 정도 유지하는가?
• RQ4 SANTIS는 고정된 과도 샘플링 패턴으로 학습된 전통적 재구성 방법과 표준 딥러닝 모델에 비해 잡음 감소 및 영상 유사도 측면에서 어떻게 성능을 내는가?
• RQ5 사이클 일관성 있는 적대적 학습과 데이터 무결성 손실을 조합함으로써, 표준 손실 함수에 비해 시각적 영상 품질 향상과 구조 보존 능력이 향상되는가?

주요 결과

• SANTIS는 추론 시 사용된 과도 샘플링 패턴이 무엇이든 간에 기존 방법과 고정된 과도 샘플링 패턴으로 학습된 표준 딥러닝 모델보다 일관되게 뛰어난 재구성 성능을 보였다.
• 변동 밀도 카르테시안 샘플링을 사용한 무릎 영상에서 SANTIS는 낮은 재구성 오차, 높은 영상 선명도, 완전 샘플링 기준 영상과의 유사도가 높았다.
• 골든 앵글 레디얼 샘플링을 사용한 간 영상에서 SANTIS는 다양한 가속도 비율과 샘플링 패턴에서도 강건한 성능을 보였으며, 잡음 억제 능력이 향상되었다.
• 전이 학습을 통해 SANTIS는 다양한 대조 단계에서 획득한 간 영상도 높은 정확도로 재구성할 수 있었으며, 동적 대조 강화 연구에 대한 적응 가능성은 높았다.
• 샘플링 증강 학습 전략을 통해 네트워크는 다양한 아티팩트 유형에 대해 일반화 능력을 향상시켜 과도 샘플링 패턴 불일치에 대한 강건성을 크게 향상시켰다.
• 적대적 학습과 데이터 사이클 일관성의 조합은 모드 붕괴와 환영 현상을 방지하여 픽셀 단위 손실 전용 기준 모델에 비해 더 현실적이고 시각적으로 정확한 영상을 생성했다.