[논문 리뷰] Results of the 2020 fastMRI Challenge for Machine Learning MR Image Reconstruction

Matthew J. Muckley, Bruno Riemenschneider외 21명|arXiv (Cornell University)|2020. 12. 09.

Radiomics and Machine Learning in Medical Imaging인용 수 29

한 줄 요약

이 논문은 7,299건의 익명화된 뇌 영상에서 수집한 부분 샘플링 k-space 데이터를 활용해 MRI 재구성 속도를 향상시키는 데 초점을 맞춘 2020년 fastMRI 챌린지의 결과를 제시한다. 챌린지는 모델의 일반화 능력을 평가하기 위해 새로운 '전이(Transfer)' 트랙을 도입하였고, 병변의 시각화 능력을 방사선의학 전문의가 평가하는 방식을 강조하여, SSIM 점수와 임상 평가 모두에서 기존 모델을 초월하는 최신 기술 수준의 모델을 도출하였다.

ABSTRACT

Accelerating MRI scans is one of the principal outstanding problems in the MRI research community. Towards this goal, we hosted the second fastMRI competition targeted towards reconstructing MR images with subsampled k-space data. We provided participants with data from 7,299 clinical brain scans (de-identified via a HIPAA-compliant procedure by NYU Langone Health), holding back the fully-sampled data from 894 of these scans for challenge evaluation purposes. In contrast to the 2019 challenge, we focused our radiologist evaluations on pathological assessment in brain images. We also debuted a new Transfer track that required participants to submit models evaluated on MRI scanners from outside the training set. We received 19 submissions from eight different groups. Results showed one team scoring best in both SSIM scores and qualitative radiologist evaluations. We also performed analysis on alternative metrics to mitigate the effects of background noise and collected feedback from the participants to inform future challenges. Lastly, we identify common failure modes across the submissions, highlighting areas of need for future research in the MRI reconstruction community.

연구 동기 및 목표

• 기계학습을 활용해 MRI 스캔 속도를 향상시켜 임상적 필요를 충족시키기 위해 영상 재구성 속도를 가속화한다.
• 다양한 MRI 스캐너 제조사 및 시설 간의 모델 일반화 능력을 향상시켜 임상 적용의 주요 장벽을 극복한다.
• 전체 영상 품질 평가에서 병변의 시각화 능력에 중점을 두어 평가의 임상적 관련성을 높인다.
• 재현 가능한 연구를 위해 다중 코ils, 부분 샘플링 k-space 데이터를 포함한 대규모 공개 데이터셋을 제공한다.
• 현재 평가 지표와 모델 행동의 한계, 예를 들어 환영 현상과 노이즈 민감도를 규명하여 향후 기법 개발을 안내한다.

제안 방법

• 7,299건의 임상 뇌 MRI 영상에서 후행적으로 부분 샘플링된 완전 샘플링 k-space 데이터를 가상 등간격 샘플링 마스크를 사용해 정확히 4배 및 8배 가속화율을 달성하도록 처리하였다.
• 참가자들에게 높은 성능 기준을 설정하기 위해 엔드 투 엔드 변동성 네트워크 기반의 강력한 베이스라인 모델을 사용하였다.
• 새로운 '전이(Transfer)' 트랙을 도입하여, 훈련 세트에 포함되지 않은 MRI 스캐너에서의 성능 평가를 요구함으로써 제조사 간 일반화 능력을 시험하였다.
• 다중 코일 병렬 영상 및 압축 감지 방법을 위한 자가교정을 지원하기 위해 k-space의 중심 부분을 완전히 유지하였다.
• SSIM을 통한 정량적 평가와 병변의 시각화 가능성을 중심으로 한 방사선의학 전문의의 정성적 평가를 통해 제출 결과를 평가하였다.
• 참가자 피드백을 수집하여 향후 챌린지 설계에 기여하였으며, 특히 컴퓨팅 자원 요구량과 샘플링 패턴의 현실성에 중점을 두었다.

실험 결과

연구 질문

• RQ1 다중 코일, 단일 제조사 데이터로 훈련된 기계학습 모델이 미리 보지 못한 MRI 스캐너 제조사에 대해 효과적으로 일반화될 수 있는가?
• RQ2 전체 영상 품질이 아닌 병변의 시각화에 중점을 두어 방사선의학 전문가 평가를 수행할 경우, 모델 순위와 임상적 관련성은 어떻게 영향을 받는가?
• RQ3 SSIM 및 RSS와 같은 현재 평가 지표가 노이즈 또는 잡음이 존재하는 경우에도 임상적으로 중요한 영상 품질을 충분히 반영하지 못하는 정도는 어느 정도인가?
• RQ4 딥 러닝 기반 MRI 재구성 모델에서 고가속도 요인에서 흔히 발생하는 고장 유형은 무엇인가?
• RQ5 환영 현상의 위험을 줄이고 임상 영상 해석과 더 잘 일치하는 평가 프로토콜을 어떻게 개선할 수 있는가?

주요 결과

• 한 팀이 8배 가속도 하에서 SSIM 점수와 방사선의학 전문가 평가 양면에서 최고 성능을 기록하여, MRI 재구성 분야에서 새로운 최신 기술 수준을 확립하였다.
• 전이 트랙을 통해 분포 외의 스캐너에서 성능 저하가 심각하게 나타나, 임상 적용에서 제조사 간 일반화 문제의 어려움이 드러났다.
• 방사선의학 전문가들은 8배 가속도 및 전이 트랙 영상에 대해 혼합된 반응을 보였으며, 병변의 시각화 능력이 여전히 어려운 연구 영역임을 시사했다.
• 참가자들은 챌린지에서 사용된 가상 등간격 샘플링 마스크가 실제 제조사의 시퀀스를 완전히 재현하지 못했다고 보고하여, 임상 적용을 위해 모델의 추가 정밀 조정이 필요할 수 있음을 지적했다.
• 참가자들 사이에는 최신 기술 수준의 모델 학습에 필요한 높은 컴퓨팅 비용에 대한 우려가 널리 퍼져 있었으며, 일부는 단일 GPU만을 사용함으로써 학술 연구자들에게 진입 장벽이 있음을 시사했다.
• 피드백을 통해 SSIM이 부드러운 처리를 선호할 수 있으며, 이는 방사선의학 전문가가 진단적 세부 정보를 선호하는 경향과 충돌할 수 있음을 나타내어, 인간의 인지 및 임상 필요와 더 잘 일치하는 평가 지표 개선이 필요하다고 제안했다.