[論文レビュー] Learning Multi-Site Harmonization of Magnetic Resonance Images Without Traveling Human Phantoms

Siyuan Liu, Pew‐Thian Yap|arXiv (Cornell University)|Sep 30, 2021

Advanced MRI Techniques and Applications参考文献 38被引用数 5

ひとこと要約

本論文では、被験者を移動させる必要のない、マルチサイトMRI画像を統合するための深層学習フレームワークMURDを提案する。MURDは、サイトに依存しない解剖学的コンテンツとサイト固有の画像スタイルに分離することで、被験者を移動させる必要のない、リアルなサイト固有の外観を再現する。サイクル整合性のあるコンテンツ・スタイル分離とサイト共有ジェネレータを用い、解剖学的正確性を保持しながら、リアルなサイト固有の外観を合成する。6,000枚を超えるT1およびT2強調画像において、マルチサイトスキャンの対応付けを必要としない最新の性能を達成した。

ABSTRACT

Harmonization improves data consistency and is central to effective integration of diverse imaging data acquired across multiple sites. Recent deep learning techniques for harmonization are predominantly supervised in nature and hence require imaging data of the same human subjects to be acquired at multiple sites. Data collection as such requires the human subjects to travel across sites and is hence challenging, costly, and impractical, more so when sufficient sample size is needed for reliable network training. Here we show how harmonization can be achieved with a deep neural network that does not rely on traveling human phantom data. Our method disentangles site-specific appearance information and site-invariant anatomical information from images acquired at multiple sites and then employs the disentangled information to generate the image of each subject for any target site. We demonstrate with more than 6,000 multi-site T1- and T2-weighted images that our method is remarkably effective in generating images with realistic site-specific appearances without altering anatomical details. Our method allows retrospective harmonization of data in a wide range of existing modern large-scale imaging studies, conducted via different scanners and protocols, without additional data collection.

研究の動機と目的

• 大規模神経画像研究におけるスキャナーやプロトコルの違いによって生じるマルチサイトMRIのばらつきに対処すること。
• 大規模データセットにおいてコストが高く、現実的でないため、教師あり統合に被験者を移動させる必要を排除すること。
• 追加のデータ収集なしに、既存のマルチサイトMRIデータを後から統合可能にすること。
• 正確でリアルな画像合成を実現するため、解剖学的コンテンツとサイト固有の画像スタイルを分離すること。
• 異なる被験者からのマルチサイト画像のみを用いて、解剖学的詳細を保持しながらサイト固有の外観を生成する手法を開発すること。

提案手法

• MURDは、スキャナーやサイトに依存しない、入力画像からの解剖学的コンテンツ特徴を抽出するサイト共有コンテンツエンコーダを採用する。
• サイト固有のスタイルエンコーダは、各サイトの画像からスタイル特徴を抽出し、スキャナー固有の強度およびコントラストパターンを捉える。
• サイト共有ジェネレータは、あるサイトのコンテンツ特徴と、ターゲットサイトのスタイル特徴を融合し、リアルな外観を持つ統合画像を生成する。
• サイト固有のスタイルジェネレータは、潜在変数からスタイル特徴を合成し、ターゲットサイトの参照画像が不要なスタイル転送を可能にする。
• コンテンツ保存とリアルな画像合成を保証するため、サイクル整合性、アイデンティティ、敵対的損失をフレームワークが使用する。
• コンテンツ・スタイル分離サイクル変換（CS-DCT）により、解剖学的正確性を維持しながら、サイト間での双方向画像変換が可能になる。

実験結果

リサーチクエスチョン

• RQ1 同じ被験者を複数サイトで撮影したペアデータがなくても、マルチサイトMRIの統合が可能か？
• RQ2 異なる被験者からのマルチサイトデータのみを用いて、深層生成モデルが解剖学的コンテンツとサイト固有の画像スタイルを分離可能か？
• RQ3 提案手法は、解剖学的詳細を保持しながら、リアルなサイト固有の外観を生成できるか？
• RQ4 この手法は、追加のデータ収集なしに、既存の大規模MRI研究を後から統合可能か？
• RQ5 既存の教師ありおよび教師なし統合手法と比較して、本手法の性能はどの程度か？

主な発見

• MURDは、被験者を移動させる必要のない、複数のスキャナーでリアルなサイト固有の外観を持つMRI画像を生成できた。
• 本手法は、多様なサイトおよびプロトコルから得られた6,000枚を超えるT1およびT2強調MRIスキャンにおいて、最新の統合性能を達成した。
• 統合画像は解剖学的詳細を保持しており、ターゲットサイトの強度およびコントラスト特性を正確に再現した。
• 本手法により、ABCDやADNIのような大規模神経画像研究を、追加のデータ収集なしに後から統合可能となった。
• コンテンツとスタイルの分離表現を用いることで、ベースライン手法と比較して画像のリアルさと一貫性が顕著に向上した。
• 本フレームワークは、異なる画像コントラストおよびスキャナータイプにおいても頑健であり、汎用性の妥当性が裏付けられた。