[論文レビュー] Machine Learning with Multi-Site Imaging Data: An Empirical Study on the Impact of Scanner Effects

Ben Glocker, R. H. Robinson+3 more|arXiv (Cornell University)|Oct 10, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 15被引用数 70

ひとこと要約

本論文は、標準的な神経画像前処理後にもスキャナー/サイト間の差異が残存し、分類器によって利用可能であることを示しており、多施設の画像データを機械学習のために調和させる際の課題を浮き彫りにしている。

ABSTRACT

This is an empirical study to investigate the impact of scanner effects when using machine learning on multi-site neuroimaging data. We utilize structural T1-weighted brain MRI obtained from two different studies, Cam-CAN and UK Biobank. For the purpose of our investigation, we construct a dataset consisting of brain scans from 592 age- and sex-matched individuals, 296 subjects from each original study. Our results demonstrate that even after careful pre-processing with state-of-the-art neuroimaging pipelines a classifier can easily distinguish between the origin of the data with very high accuracy. Our analysis on the example application of sex classification suggests that current approaches to harmonize data are unable to remove scanner-specific bias leading to overly optimistic performance estimates and poor generalization. We conclude that multi-site data harmonization remains an open challenge and particular care needs to be taken when using such data with advanced machine learning methods for predictive modelling.

研究の動機と目的

• 最先端の前処理後も、複数サイトのT1強調MRIデータがスキャナー特有のバイアスを保持することを示す。
• 処理後の画像と組織マップからデータの起源（サイト）を分類する能力を定量化する。
• データ調和手法が性別分類のような予測モデリングタスクに与える影響を評価する。

提案手法

• Cam-CANとUK Biobankから年齢・性別を揃えたバランスの取れたデータセットを構築する（n=592、各研究で296）。
• 共通の前処理パイプライン（再配向、頭蓋骨除去、バイアス訂正、登録、ホワイトニング）を適用し、SPM12とFASTを用いて組織確率マップを生成する。
• さまざまなデータ配置（単一サイト対多サイト）で、データ起源を識別する乱森林分類器を訓練し、性別分類を行う。
• 交差検証を用いてサイト予測力と性別分類性能を評価し、精度、エントロピー、予測確率を報告する。

実験結果

リサーチクエスチョン

• RQ1 前処理済みのMRIデータおよび導出された組織マップから、スキャナー/サイトの差を回収できるか？
• RQ2 データ調和は複数サイトのMRIデータセットにおけるサイト特有のバイアスをどの程度低減するか？
• RQ3 多サイトデータは性別分類タスクの精度と一般化にどう影響するか？
• RQ4 異なるアラインメント/正規化が残存するスキャナー効果に与える影響はどれくらいか？

主な発見

データ配置	整列済み	精度	平均エントロピー	平均確率
Multi-site age/sex-matched	rigid	82.60%	0.5304	0.7388
Single-site (Cam-CAN)	rigid	81.42%	0.5592	0.7179
Single-site (UKBB)	rigid	84.46%	0.5049	0.7572
Cam-CAN females / UKBB males	rigid	94.59%	0.4036	0.8311
Cam-CAN 80/20% / UKBB 20/80%	rigid	85.87%	0.5038	0.7616
Cam-CAN train / UKBB test	rigid	81.42%	0.5617	0.7124
UKBB train / Cam-CAN test	rigid	78.04%	0.5284	0.7419
Multi-site age/sex-matched	affine	79.73%	0.6345	0.6389
Single-site (Cam-CAN)	affine	77.70%	0.6439	0.6269
Single-site (UKBB)	affine	81.08%	0.6393	0.6316
Cam-CAN females / UKBB males	affine	98.99%	0.4641	0.8013
Cam-CAN 80/20% / UKBB 20/80%	affine	84.78%	0.5713	0.7125
Cam-CAN train / UKBB test	affine	73.65%	0.6462	0.6245
UKBB train / Cam-CAN test	affine	62.16%	0.6075	0.6769

• 前処理を丁寧に行ってもサイト分類は高い精度で成功する。スキャナー効果が持続していることを示す。
• 導出された組織確率マップはスキャナーBiasを保持し、より高度な空間正規化はこれらの効果を増幅する可能性がある。
• 多サイトの年齢・性別を揃えたデータは単一サイトと同様の性別分類精度を示すが、性差の不均衡とサイト間テストは一般化の問題を露呈する。
• 脳サイズ情報を除去するアフィン登録はサイト間の分類性能低下を悪化させる可能性がある。
• サイトを混合すると、いくつかの設定（例: Cam-CAN女性対 UKBB男性）で非常に高い精度を示し、強いサイト特有の手がかりが残っていることを示唆する。
• 全体として、多施設神経画像データのデータ調和は依然として課題であり、適切に対処されない場合楽観的な性能推定につながり得る。