[論文レビュー] Generalizability issues with deep learning models in medicine and their potential solutions: illustrated with Cone-Beam Computed Tomography (CBCT) to Computed Tomography (CT) image conversion

Xiao Liang, Dan Nguyen+1 more|arXiv (Cornell University)|Apr 16, 2020

AI in cancer detection参考文献 3被引用数 9

ひとこと要約

本稿は、医用画像における深層学習の一般化性能の課題に焦点を当て、CBCTからCTへの画像変換を事例として調査している。1つのスキャナーメーカーおよび解剖部位で訓練されたモデルは、他のメーカーおよび部位では性能を発揮しないことが示され、微調整、統合学習、ターゲット専用学習の3つの転移学習戦略を提案。限られたターゲットデータ条件下で微調整が最も優れた性能を示し、多様なスキャナーや部位に臨床応用可能なモデルの実現が可能となる。

ABSTRACT

Generalizability is a concern when applying a deep learning (DL) model trained on one dataset to other datasets. Training a universal model that works anywhere, anytime, for anybody is unrealistic. In this work, we demonstrate the generalizability problem, then explore potential solutions based on transfer learning (TL) by using the cone-beam computed tomography (CBCT) to computed tomography (CT) image conversion task as the testbed. Previous works have converted CBCT to CT-like images. However, all of those works studied only one or two anatomical sites and used images from the same vendor's scanners. Here, we investigated how a model trained for one machine and one anatomical site works on other machines and other sites. We trained a model on CBCT images acquired from one vendor's scanners for head and neck cancer patients and applied it to images from another vendor's scanners and for other disease sites. We found that generalizability could be a significant problem for this particular application when applying a trained DL model to datasets from another vendor's scanners. We then explored three practical solutions based on TL to solve this generalization problem: the target model, which is trained on a target domain from scratch; the combined model, which is trained on both source and target domain datasets from scratch; and the adapted model, which fine-tunes the trained source model to a target domain. We found that when there are sufficient data in the target domain, all three models can achieve good performance. When the target dataset is limited, the adapted model works the best, which indicates that using the fine-tuning strategy to adapt the trained model to an unseen target domain dataset is a viable and easy way to implement DL models in the clinic.

研究の動機と目的

• 1つのCBCTスキャナーメーカーおよび解剖部位で訓練された深層学習モデルが、他のメーカーおよび疾患部位に適用された場合の一般化性能を調査すること。
• スキャナーハードウェアおよび解剖領域の違いに起因するドメインシフトを克服するための転移学習戦略の性能を評価すること。
• 限られたターゲットドメインデータを前提とした臨床環境における深層学習モデルの最適な導入方法を特定すること。
• 多様な医用画像環境に応用可能な実用的でスケーラブルなDLモデルの展開ソリューションを提供すること。

提案手法

• 頭頸部がん患者のCBCT画像を用いて、1つのメーカーのスキャナから得たデータで深層学習モデルを訓練した。
• 異なるメーカーのスキャナから得たCBCT画像および他の解剖部位（例：脊椎、腹部）の画像に、訓練済みモデルを適用した。
• 3つの転移学習戦略を検討した：ターゲットドメインで新たにモデルを訓練（ターゲットモデル）、ソースおよびターゲットドメインの両方で学習（統合モデル）、ソースモデルをターゲットドメインで微調整（適応モデル）。
• CBCTからCTへの画像変換に、画像間変換ネットワーク（例：U-Netベースのアーキテクチャ）を用いた。
• PSNR、SSIM、HU値における構造的類似性といった定量的指標を用いてモデル性能を評価した。
• ターゲットドメインでのデータ量の違いに応じた一般化性能を比較するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 1つのCBCTスキャナーメーカーおよび解剖部位で訓練された深層学習モデルが、別のメーカーおよび解剖部位のデータに適用された場合の性能はいかがなっているか？
• RQ2 微調整、統合学習、ターゲット専用学習の3つの転移学習戦略の相対的な性能は、一般化性能の向上においてどのように異なるか？
• RQ3 ターゲットドメインのデータサイズが、CBCTからCTへの変換における転移学習アプローチの性能にどのように影響するか？
• RQ4 限られたターゲットドメインデータで事前学習済みモデルを微調整することで、大規模データでからかず訓練した場合と同等の性能を達成できるか？

主な発見

• 1つのメーカーのCBCTデータで訓練したモデルは、他のメーカーのスキャナから得たデータに適用した場合、顕著な性能低下を示し、一般化の大きな課題が存在することが明らかになった。
• 十分なターゲットドメインデータが利用可能な場合、3つの転移学習戦略（ターゲットモデル、統合モデル、適応モデル）とも高い性能を達成し、それらの間には有意差が認められなかった。
• ターゲットドメインデータが限られる状況では、微調整済み（適応）モデルがターゲット専用モデルおよび統合モデルを上回る性能を示し、データ効率性に優れたことが実証された。
• 限られたターゲットドメインデータで事前学習済みモデルを微調整することで、性能とデータ効率のバランスが最も良く、臨床応用に最も実用的なソリューションであることが示された。
• 本研究は、スキャナーハードウェアおよび解剖部位の違いに起因するドメインシフトが、医用DLにおけるモデル一般化性能に深刻な影響を及ぼすことを確認した。
• 特に微調整を用いた転移学習は、最小限のデータで新しい臨床環境にモデルを適応させるために実用的かつ効果的な戦略であることが示された。