[論文レビュー] Knowledge-based in silico models and dataset for the comparative evaluation of mammography AI for a range of breast characteristics, lesion conspicuities and doses

Elena Sizikova, Niloufar Saharkhiz+5 more|arXiv (Cornell University)|Oct 27, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 6

ひとこと要約

本論文は、知識ベースのデジタル乳房モデルとモンテカルロX線シミュレーションを用いた物理ベースのインシリコシミュレーションパイプラインを提案し、多様な乳房特性、病変の目立たなさ、被ばく線量の下でAI性能を評価するための現実的で合成されたマンモグラフィー画像データセットを生成する。主な貢献は、乳房密度、腫瘍サイズ、腫瘍密度、被ばくレベルを変化させた1,200例の合成ケースを含むM-SYNTHデータセットの公開である。AI性能は乳房密度が高くなるほど低下し、被ばく線量が低くなるほど向上することが示され、本手法が実際の患者データに代わるスケーラブルでプライバシー保護が可能な代替手法であることが検証された。

ABSTRACT

To generate evidence regarding the safety and efficacy of artificial intelligence (AI) enabled medical devices, AI models need to be evaluated on a diverse population of patient cases, some of which may not be readily available. We propose an evaluation approach for testing medical imaging AI models that relies on in silico imaging pipelines in which stochastic digital models of human anatomy (in object space) with and without pathology are imaged using a digital replica imaging acquisition system to generate realistic synthetic image datasets. Here, we release M-SYNTH, a dataset of cohorts with four breast fibroglandular density distributions imaged at different exposure levels using Monte Carlo x-ray simulations with the publicly available Virtual Imaging Clinical Trial for Regulatory Evaluation (VICTRE) toolkit. We utilize the synthetic dataset to analyze AI model performance and find that model performance decreases with increasing breast density and increases with higher mass density, as expected. As exposure levels decrease, AI model performance drops with the highest performance achieved at exposure levels lower than the nominal recommended dose for the breast type.

研究の動機と目的

• 実際の患者データセットの限界、例えば解剖学的多様性の不足、プライバシー制約、病変境界のグランド・トゥルースの欠如を解消すること。
• 多様な患者および画像撮影パラメータの下でAI性能を評価するためのスケーラブルでプライバシー準拠の手法を開発すること。
• 制御可能で繰り返し可能かつ倫理的に安全なAIモデルのマンモグラフィー分野におけるテストを可能にする、シミュレーションベースのフレームワークを構築すること。
• 物理ベースのシミュレーションで生成された合成データが、実世界のAI性能トレンド（特に乳房密度および被ばく線量の影響）を反映できることを検証すること。
• 再現可能で比較可能なマンモグラフィーAIモデルの評価を支援するため、公開可能なデータセット（M-SYNTH）を提供すること。

提案手法

• 本手法は、人間の解剖学を確率的知識ベース（KB）モデルを用いて、乳房の線維嚢胞密度、腫瘍サイズ、腫瘍密度を変化させた1,200例の独自のデジタル乳房エフェメラに生成する。
• 各エフェメラは、デジタルマンモグラフィー装置のデジタルレプリカを用いて撮影され、VICTREツールキットを用いたモンテカルロシミュレーションによりX線取得をシミュレートする。
• 画像取得パイプラインは4つの乳房密度カテゴリにわたり被ばくレベルを制御し、線量応答解析を可能にする。
• 得られた合成画像は、AUCなどの指標を用いてAIモデルの性能を評価するのに用いられ、物理的および撮影パラメータとの比較が行われる。
• 本手法は、腫瘍の位置や広がりなど、実データではしばしば欠落しているオブジェクトおよび撮影パラメータを完全に制御可能である。
• データセットは事前に計算され、GitHub経由で公開され、ユーザーの計算負荷を軽減し、オフライン評価を可能にする。

Figure 1: Overview of the computational pipeline components for generating the M-SYNTH in silico dataset for medical imaging AI evaluation.

実験結果

リサーチクエスチョン

• RQ1 合成マンモグラフィー画像におけるAIモデルの性能は、乳房密度が上昇するにつれてどのように変化するか？
• RQ2 病変の目立たなさ（サイズおよび密度）は、異なる乳房密度の下でAI検出性能にどのように影響を与えるか？
• RQ3 被ばく線量はAI性能にどのように影響し、臨床的推奨線量未満で性能が最適化されるか？
• RQ4 物理ベースのシミュレーションで生成された合成データは、実世界のAI性能トレンドを反映できるか？
• RQ5 画像統計およびラジオミクス特徴の観点から、シミュレートされたデータは実患者データとどの程度一致するか？

主な発見

• AUCで測定したAIモデルの性能は、乳房密度が高くなるにつれて低下し、腫瘍サイズおよび腫瘍密度が高くなるにつれて向上することが、期待通りに観察された。
• 被ばく線量が低くなるほど性能が向上し、各乳房タイプの推奨線量未満の被ばくレベルで最高のAUCが達成された。
• 合成画像は、平均、分散、歪度、尖度といった画像モーメントの観点から、特に4つの乳房密度すべてにおいて実患者データと比較的よく一致していた。
• M-SYNTHデータセットは、物理的および撮影パラメータに起因する性能差の検出を可能にし、本手法が主要変数に感受性であることを確認した。
• 本手法は、実患者データで訓練されたAIモデル（INBreast）を合成データでテストした際、その有効性を検証した。これは、規制評価に向けた本フレームワークの実用性を支持する。
• 本研究は、物理ベースのシミュレーションが、実患者データに代わる代替手段として、より低コストかつプライバシー保護が可能な、比較的評価に適した手法であることを示した。

Figure 6: Dose distribution (# of hist.) and percentages of optimal dose considered by breast density.