[論文レビュー] Performance Deterioration of Deep Learning Models after Clinical Deployment: A Case Study with Auto-segmentation for Definitive Prostate Cancer Radiotherapy

Biling Wang, Michael Dohopolski+11 more|arXiv (Cornell University)|Oct 11, 2022

Prostate Cancer Diagnosis and Treatment被引用数 4

ひとこと要約

本研究では、前立腺がん放射線治療における深層学習ベースのオートセグメンテーションモデルを臨床現場に導入後、性能劣化の原因を調査した。2006–2011年のデータで学習したUNetモデルを、1,328例の患者から2012–2022年のデータでテストした結果、2015年以降に前立腺および直腸のセグメンテーションのDSCが著しく低下していることが判明した。その要因は、ヒドロゲルスペーサーの使用、スライス厚、静脈内造影剤の使用といった臨床的実践の変化に起因しており、継続的なモデル監視と適応の重要性が浮き彫りになった。

ABSTRACT

We evaluated the temporal performance of a deep learning (DL) based artificial intelligence (AI) model for auto segmentation in prostate radiotherapy, seeking to correlate its efficacy with changes in clinical landscapes. Our study involved 1328 prostate cancer patients who underwent definitive radiotherapy from January 2006 to August 2022 at the University of Texas Southwestern Medical Center. We trained a UNet based segmentation model on data from 2006 to 2011 and tested it on data from 2012 to 2022 to simulate real world clinical deployment. We measured the model performance using the Dice similarity coefficient (DSC), visualized the trends in contour quality using exponentially weighted moving average (EMA) curves. Additionally, we performed Wilcoxon Rank Sum Test to analyze the differences in DSC distributions across distinct periods, and multiple linear regression to investigate the impact of various clinical factors. The model exhibited peak performance in the initial phase (from 2012 to 2014) for segmenting the prostate, rectum, and bladder. However, we observed a notable decline in performance for the prostate and rectum after 2015, while bladder contour quality remained stable. Key factors that impacted the prostate contour quality included physician contouring styles, the use of various hydrogel spacer, CT scan slice thickness, MRI-guided contouring, and using intravenous (IV) contrast. Rectum contour quality was influenced by factors such as slice thickness, physician contouring styles, and the use of various hydrogel spacers. The bladder contour quality was primarily affected by using IV contrast. This study highlights the challenges in maintaining AI model performance consistency in a dynamic clinical setting. It underscores the need for continuous monitoring and updating of AI models to ensure their ongoing effectiveness and relevance in patient care.

研究の動機と目的

• 前立腺がん放射線治療における深層学習ベースのオートセグメンテーションモデルの臨床現場導入後の長期的性能安定性を評価すること。
• 時間経過に伴うAIベースの輪郭描画における性能劣化に寄与する臨床的および画像的要因を同定すること。
• 16年間にわたる前立腺、直腸、膀胱構造のDice類似係数（DSC）の時間的変化を評価すること。
• ヒドロゲルスペーサー、スライス厚、静脈内造影剤の使用といった進化する臨床的実践がモデル性能に与える影響を調査すること。
• 動的臨床環境におけるAI効果を維持するため、継続的なモデル監視と再訓練プロトコルの推奨すること。

提案手法

• 前立腺、直腸、膀胱のセグメンテーションを目的としたUNetベースの深層学習モデルを、2006年から2011年までの1,328例の前立腺がん患者のスキャンデータで学習した。
• テストデータとして2012年から2022年までのデータを用い、主にDice類似係数（DSC）を指標としてモデルの性能を評価した。
• 時間経過に伴う輪郭品質の傾向を可視化するために、指数加重移動平均（EMA）曲線が用いられた。
• 異なる時間帯におけるDSC分布の有意差を検出するために、ウィルコクソン順位和検定が適用された。
• スライス厚、ヒドロゲル使用、静脈内造影剤、医師による輪郭描画スタイルなどの臨床的要因がDSC値に与える影響を数量化するために、多重線形回帰が用いられた。
• 臨床的進化を反映するために、初期データで学習し、徐々に後続のデータでテストするという、実際の現場導入を模擬した手法が採用された。

実験結果

リサーチクエスチョン

• RQ1 前立腺がん放射線治療における深層学習ベースのオートセグメンテーションモデルの臨床現場導入後、時間経過に伴い性能はどのように変化するか？
• RQ2 AIベースの輪郭描画における性能劣化に強く関連する臨床的要因は何か？（前立腺、直腸、膀胱を含む）。
• RQ3 ヒドロゲルスペーサーの使用、CTスライス厚の変動、静脈内造影剤の使用が、時間経過に伴いモデルの正確性に顕著な影響を与えるか？
• RQ4 医師による輪郭描画スタイルは、異なる時間帯にわたり、モデルのDSC性能にどの程度影響を及えるか？
• RQ5 EMA曲線と統計的検定を用いることで、DSCの時間的傾向を信頼性を持って追跡でき、モデルの劣化を検出できるか？

主な発見

• モデルは2012年から2014年にかけてピークパフォーマンスを示し、前立腺、直腸、膀胱構造のDSC値が最高を記録した。
• 2015年以降に前立腺および直腸のDSCに顕著な低下が観察されたが、膀胱のDSCは時間経過に伴い安定していた。
• 前立腺の輪郭品質に最も大きな影響を与えた要因は、医師による輪郭描画スタイル、ヒドロゲルスペーサーの使用、CTスライス厚、静脈内造影剤の使用であった。
• 直腸の輪郭品質に顕著な影響を与えた要因は、スライス厚、医師による輪郭描画スタイル、ヒドロゲルスペーサーの使用であった。
• 膀胱の輪郭品質に主な影響を与えた要因は静脈内（IV）造影剤の使用であり、それ以外の要因については時間経過に伴う顕著な傾向は認められなかった。
• 本研究は、データ分布のシフトだけでなく、臨床的実践の進化が、展開済みのAIモデルにおける性能劣化を引き起こす要因であることを示した。