[論文レビュー] The Impact of Scanner Domain Shift on Deep Learning Performance in Medical Imaging: an Experimental Study

Brian H.W. Guo, Darui Lu+5 more|arXiv (Cornell University)|Sep 6, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

本研究では、MRI、CT、X線画像の3つのモダリティにわたる医療画像におけるディープラーニングのスキャナードメインシフトを体系的に評価した。スキャナーパrameterの違いや後処理の差が原因で、性能低下が顕著に見られ、特にMRIで最も顕著に、X線で中程度、CTでわずかに低下した。これは、臨床応用におけるモデル開発・展開においてスキャナーのばらつきを考慮する必要があることを示している。

ABSTRACT

Purpose: Medical images acquired using different scanners and protocols can differ substantially in their appearance. This phenomenon, scanner domain shift, can result in a drop in the performance of deep neural networks which are trained on data acquired by one scanner and tested on another. This significant practical issue is well-acknowledged, however, no systematic study of the issue is available across different modalities and diagnostic tasks. Materials and Methods: In this paper, we present a broad experimental study evaluating the impact of scanner domain shift on convolutional neural network performance for different automated diagnostic tasks. We evaluate this phenomenon in common radiological modalities, including X-ray, CT, and MRI. Results: We find that network performance on data from a different scanner is almost always worse than on same-scanner data, and we quantify the degree of performance drop across different datasets. Notably, we find that this drop is most severe for MRI, moderate for X-ray, and quite small for CT, on average, which we attribute to the standardized nature of CT acquisition systems which is not present in MRI or X-ray. We also study how injecting varying amounts of target domain data into the training set, as well as adding noise to the training data, helps with generalization. Conclusion: Our results provide extensive experimental evidence and quantification of the extent of performance drop caused by scanner domain shift in deep learning across different modalities, with the goal of guiding the future development of robust deep learning models for medical image analysis.

研究の動機と目的

• 複数の医療画像モダリティ（MRI、CT、X線）におけるスキャナードメインシフトがディープラーニング性能に与える影響を調査すること。
• あるスキャナーで学習したモデルが別のスキャナーのデータでテストされた際の性能低下の程度を定量化すること。
• データインジェクションおよびデータオーグメンテーションがドメインシフトの影響を軽減する効果があるかどうかを評価すること。
• 特に取得基準の標準化に関連して、モダリティごとのスキャナードメインシフトへの感受性の違いを理解すること。
• 多様なスキャナーを有する現実の臨床環境において、耐障害性のあるディープラーニングモデルを開発するための実証的指針を提供すること。

提案手法

• あるスキャナーからのソースドメインデータで畳み込みニューラルネットワークを学習し、異なるスキャナーからのターゲットドメインデータで性能を評価した。
• MRI、CT、X線の3モダリティにわたる7つのデータセットを用い、さまざまな解剖的領域および診断タスクをカバーした。
• ドメイン一般化の評価を目的に、訓練セットに段階的にターゲットドメインデータの割合を追加した。
• 訓練画像にガウスノイズを追加し、そのアウトオブドメイン性能への影響を評価した。
• スキャナー製造元や機種ごとの性能を比較し、画像取得パrameterや後処理の違いに焦点を当てた。
• 画像特徴の分布を分析し、TR、TE、スライス厚などのスキャナースペシフィックパラメータへの感受性を評価した。

Figure 1: Seeded Training and Testing Procedure: See Section 3.1 for more details.

実験結果

リサーチクエスチョン

• RQ1 スキャナードメインシフトは、MRI、CT、X線といった異なる医療画像モダリティにおけるディープラーニング性能にどのように影響を与えるか？
• RQ2 あるスキャナーで学習したモデルが、別のスキャナーのデータでテストされた際の性能低下の程度はどの程度か？
• RQ3 訓練段階でターゲットドメインデータを含めることで、スキャナー間での一般化性能はどのように向上するか？
• RQ4 訓練データにノイズを追加することで、アウトオブドメインのスキャナーデータへの一般化性能は向上するか？
• RQ5 MRIはCTと同様にMRI・CTモダリティに属するが、なぜMRIはスキャナードメインシフトに対してより感受性が強いのか？

主な発見

• 評価された14の設定（データセット、タスク、ソース/ターゲットドメイン）のうち13で、異なるスキャナーのデータでテストした際のモデル性能が低下した。
• 平均して、MRIが最も顕著な性能低下を示し、次にX線、CTが最小の低下を示した。これは、CTの取得プロトコルにおける高い標準化に起因する。
• MRIの性能低下が顕著なのは、スキャナーメーカー間でエコータイム（TE）、リピティションタイム（TR）、フラップアングルなどのパラメータに著しいばらつきがあるためである。
• ターゲットドメインデータを訓練セットにインジェクションすることで一般化性能が向上したが、その効果はモダリティやタスクによって異なり、特にMRIでその恩恵が顕著に見られた。
• 訓練データにガウスノイズを追加しても、アウトオブドメイン性能は向上しなかった。これは、単純なデータオーグメンテーションではドメインシフトの緩和に不十分であることを示している。
• スキャナースペシフィックな後処理や取得パラメータが画像特徴を顕著に変化させ、視覚的にわずかな差ですらモデル性能の低下を引き起こすことが分かった。

Figure 2: Visualization of the change in network performance due to the test scanner domain shifting away from the training scanner domain (see Table 2 for reference). Each pair of bars is for a single modality and training set scanner manufacturer.