[논문 리뷰] Retrospective Motion Correction of MR Images using Prior-Assisted Deep Learning

Soumick Chatterjee, Alessandro Sciarra외 4명|arXiv (Cornell University)|2020. 11. 28.

Advanced MRI Techniques and Applications참고 문헌 17인용 수 7

한 줄 요약

이 논문은 같은 환자에서의 다양한 MRI 대조나 다른 환자에서 유사한 단면을 사용하여 손상되지 않은 이미지 사전 지식을 활용함으로써 MRI에서의 후행적 운동 보정을 위한 사전 정보 기반 딥러닝 프레임워크를 제안한다. 이 방법은 다중 채널 또는 双분지 네트워크를 사용하여 UNet 및 ResNet 아키텍처를 개선하여 사전 지식을 통합함으로써 운동 아티팩트 감소를 크게 향상시키며, 특히 다중 대조 사전 지식을 사용할 경우 뚜렷한 성능 향상이 나타나며, ResNet은 두 가지 사전 지식 통합 방법 모두에서 일관된 성능 향상을 보였다.

ABSTRACT

In MRI, motion artefacts are among the most common types of artefacts. They can degrade images and render them unusable for accurate diagnosis. Traditional methods, such as prospective or retrospective motion correction, have been proposed to avoid or alleviate motion artefacts. Recently, several other methods based on deep learning approaches have been proposed to solve this problem. This work proposes to enhance the performance of existing deep learning models by the inclusion of additional information present as image priors. The proposed approach has shown promising results and will be further investigated for clinical validity.

연구 동기 및 목표

• 운동 아티팩트가 진단 실패와 재촬영의 주요 원인이 되는 MRI에서 이를 해결하기 위해.
• 다양한 대조나 유사한 단면 데이터와 같은 이미지 사전 지식을 통합하여 딥러닝 기반 후행적 운동 보정을 향상시키기 위해.
• 사전 정보가 표준 딥러닝 기반 기준 모델을 초월해 모델 성능을 향상시키는지 평가하기 위해.
• 다중 채널 입력과 이중 분지 네트워크 등 다양한 사전 지식 통합 전략이 보정 정확도에 미치는 영향을 조사하기 위해.

제안 방법

• IXI 데이터셋에서 확보한 T1, T2 및 PD 가중 MRI 영상을 사용하여, 수정된 TorchIO RandomMotion 함수를 활용해 T2 영상에 인위적으로 운동을 가공하였다.
• 두 가지 유형의 사전 지식을 시험하였다: (1) 다른 환자에서 같은 대조를 가진 10개의 유사한 단면, (2) 같은 환자에서의 다른 대조(T1, PD)로, T2 영상과 공액된 상태이다.
• 두 가지 네트워크 통합 전략을 적용하였다: 다중 채널 입력(손상된 영상과 사전 지식을 채널 차원에 따라 연결) 및 이중 분지 네트워크(손상된 영상과 사전 지식에 대해 별도의 분지로 구성되며, 특징 융합은 덧셈 또는 1x1 컨볼루션을 통한 연결 방식으로 수행함).
• 수정된 UNet 및 ResNet 아키텍처를 사용하였으며, 이중 분지 UNet은 주 분지에서만 스킵 연결을 유지하였고, 이중 분지 ResNet은 다운샘플링 블록을 공유하지만 입력 채널 수가 다름.
• 두 분지의 최종 잠재 표현은 업샘플링 또는 잔차 블록으로 전달되기 전에 융합되었으며, 요소별 덧셈 또는 채널별 연결 후 1x1 컨볼루션을 통해 융합하였다.
• 성능 평가에는 SSIM을 사용하였으며, 기준 모델과 사전 지식 보강된 변형 모델 간의 시각적 및 정량적 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 이미지 사전 지식의 통합이 딥러닝 기반 후행적 운동 보정 성능을 향상시킬 수 있는가?
• RQ2 동일 환자에서의 다중 대조 사전 지식을 사용할 경우, 다른 환자에서 유사한 단면을 사용하는 것보다 더 나은 운동 보정 성능을 얻을 수 있는가?
• RQ3 다중 채널 입력과 이중 분지 네트워크 등 다양한 사전 지식 통합 전략이 운동 보정 성능에 미치는 영향은 어떠한가?
• RQ4 왜 이중 분지 UNet은 기준 모델을 향상시키지 못하는 반면, 이중 분지 ResNet은 일관된 성능 향상을 보이는가?
• RQ5 사전 지식 통합이 운동으로 인해 흐릿해질 수 있는 임상적으로 중요한 병변을 유지하는가?

주요 결과

• 동일 환자에서의 다양한 대조를 사전 지식으로 사용할 경우, UNet 및 ResNet 모델 모두에서 운동 보정 성능이 유의미하게 향상되었으며, 특히 SSIM 측면에서 두드러진 성능 향상이 나타났다.
• 이중 분지 ResNet 아키텍처는 기준 모델을 초월하여 성능 향상을 보였으며, 다중 채널 및 이중 분지 구성 모두에서 개선이 관찰되었다.
• 다중 채널 UNet은 기준 모델 대비 뚜렷한 성능 향상을 보였지만, 이중 분지 UNet은 성능 향상이 없었으며, 이는 보조 분지에서의 스킵 연결이 없는 경우 특징 융합에 한계가 있음을 시사한다.
• 다른 환자에서 유사한 10개의 단면을 사전 지식으로 제공한 결과, 테스트된 모든 네트워크에서 성능 향상이 없었으며, 이는 이환자 간 유사성의 한계가 이 맥락에서 제한된 유용성을 가짐을 시사한다.
• ResNet 기반의 이중 분지 접근 방식은 테스트된 모든 구성 중에서 가장 높은 SSIM 값을 기록하여, 더 깊은 아키텍처에서 체계적인 사전 지식 통합의 효과를 입증하였다.
• 이 연구는 UNet 기반의 사전 지식 통합에서 보조 분지에서의 스킵 연결이 핵심적일 수 있으며, 성능 격차를 해소하기 위한 추가 연구가 필요하다고 규명하였다.