[논문 리뷰] Learning Multi-Site Harmonization of Magnetic Resonance Images Without Traveling Human Phantoms

Siyuan Liu, Pew‐Thian Yap|arXiv (Cornell University)|2021. 09. 30.

Advanced MRI Techniques and Applications참고 문헌 38인용 수 5

한 줄 요약

이 논문은 이동하는 인간 편광체가 필요 없이 사이트 간 고유한 이미지 스타일과 사이트에 관계없는 해부학적 내용을 분리함으로써 다중 센터 MRI 영상을 조화시키는 딥러닝 프레임워크인 MURD를 제안한다. 사이트 공유 생성자와 사이클 일致성 있는 콘텐츠-스타일 분리 기법을 사용하여, 해부학적 정확성을 유지하면서도 현실적인 사이트 특화 외관을 생성함으로써, 동일한 환자에 대한 다중 센터 스캔 간의 감독된 쌍화가 필요 없이 6,000장 이상의 T1 및 T2 가중 영상에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Harmonization improves data consistency and is central to effective integration of diverse imaging data acquired across multiple sites. Recent deep learning techniques for harmonization are predominantly supervised in nature and hence require imaging data of the same human subjects to be acquired at multiple sites. Data collection as such requires the human subjects to travel across sites and is hence challenging, costly, and impractical, more so when sufficient sample size is needed for reliable network training. Here we show how harmonization can be achieved with a deep neural network that does not rely on traveling human phantom data. Our method disentangles site-specific appearance information and site-invariant anatomical information from images acquired at multiple sites and then employs the disentangled information to generate the image of each subject for any target site. We demonstrate with more than 6,000 multi-site T1- and T2-weighted images that our method is remarkably effective in generating images with realistic site-specific appearances without altering anatomical details. Our method allows retrospective harmonization of data in a wide range of existing modern large-scale imaging studies, conducted via different scanners and protocols, without additional data collection.

연구 동기 및 목표

• 대규모 뇌 영상 연구에서 스캐너 및 프로토콜의 차이로 인한 사이트 간 MRI 변동성을 해결하기 위해.
• 감독된 조화 조정에서 이동하는 인간 편광체가 필요 없는 것을 제거하기 위해, 이는 대규모 데이터셋에 대해 비용이 많이 들고 비현실적이다.
• 추가 데이터 수집 없이 기존의 다중 센터 MRI 데이터를 후행적으로 조화시킬 수 있도록 하기 위해.
• 정확하고 현실적인 영상 합성 가능성을 위해 해부학적 콘텐츠와 사이트 특화 이미지 스타일을 분리하기 위해.
• 다른 환자들로부터의 다중 센터 영상만을 사용하여도 해부학적 세부 사항을 유지하면서 사이트 특화 외관을 생성할 수 있는 방법을 개발하기 위해.

제안 방법

• MURD는 스캐너나 사이트에 관계없이 입력 영상에서 해부학적 콘텐츠 특징을 추출하기 위해 사이트 공유 콘텐츠 인코더를 사용한다.
• 사이트 특화 스타일 인코더는 각 사이트의 영상에서 스캐너 특유의 강도 및 대비 패턴을 캡처하는 스타일 특징을 추출한다.
• 사이트 공유 생성자는 한 사이트의 콘텐츠 특징과 목표 사이트의 스타일 특징을 융합하여 현실적인 외관을 가진 조화된 영상을 생성한다.
• 사이트 특화 스타일 생성자는 잠재 코드에서 스타일 특징을 합성함으로써, 목표 사이트의 기준 영상이 필요 없이 스타일 전이를 가능하게 한다.
• 콘텐츠 보존과 현실적인 영상 합성을 보장하기 위해 사이클 일관성, 아이덴티티 및 적대적 손실을 사용한다.
• 콘텐츠-스타일 분리 사이클 번역(CS-DCT)은 해부학적 정확성을 유지하면서도 사이트 간 이중 방향 영상 번역을 가능하게 한다.

실험 결과

연구 질문

• RQ1 동일한 환자에 대한 다중 센터 스캔 간 쌍화가 필요 없이 다중 센터 MRI 조화를 달성할 수 있는가?
• RQ2 다른 환자들로부터의 다중 센터 데이터만을 사용하여 딥 랜덤 생성 모델이 해부학적 콘텐츠와 사이트 특화 이미지 스타일을 분리할 수 있는가?
• RQ3 제안된 방법이 해부학적 세부 사항을 유지하면서도 현실적인 사이트 특화 외관을 생성하는가?
• RQ4 이 방법은 추가 데이터 수집 없이 기존의 대규모 MRI 연구를 후행적으로 조화시킬 수 있는가?
• RQ5 기존의 감독 및 비감독 조화 기법과 비교해 제안된 방법의 성능은 어떻게 되는가?

주요 결과

• MURD는 어떤 이동하는 인간 편광체 데이터도 필요 없이 다양한 스캐너에서 현실적인 사이트 특화 외관을 가진 MRI 영상을 성공적으로 생성한다.
• 다양한 사이트와 프로토콜에서 유래한 6,000장 이상의 T1 및 T2 가중 MRI 스캔에서 최신 기술 수준의 조화 성능를 달성한다.
• 조화된 영상들은 해부학적 세부 사항을 유지하면서도 목표 사이트의 강도 및 대비 특성을 정확하게 재현한다.
• 이 방법은 추가 데이터 수집 없이 ABCD 및 ADNI와 같은 기존의 대규모 뇌 영상 연구를 후행적으로 조화시킬 수 있도록 한다.
• 콘텐츠와 스타일 표현을 분리함으로써 기존 기반 방법에 비해 영상의 현실성과 일관성이 크게 향상된다.
• 이 프레임워크는 다양한 영상 대비와 스캐너 유형에 걸쳐 뛰어난 일반화 능력을 입증하며, 강건성을 입증한다.