[論文レビュー] Addressing catastrophic forgetting for medical domain expansion

Sharut Gupta, Praveer Singh+14 more|arXiv (Cornell University)|Mar 24, 2021

Machine Learning in Healthcare被引用数 4

ひとこと要約

本論文は、医療分野の拡張における深刻な忘却を軽減するための新規アプローチを提案する。Elastic Weight Consolidation (EWC) とバッチ正規化 (BN) の統計の適応的変調を組み合わせた手法であり、元のデータセットにおけるパフォーマンスを保持しながら、異なる機関やシステムの新しい医療画像データに対して微調整を行う。この手法は、最先端の手法を上回り、モデルの頑健性と一般化性能において統計的に有意な向上を示した。

ABSTRACT

Model brittleness is a key concern when deploying deep learning models in real-world medical settings. A model that has high performance at one institution may suffer a significant decline in performance when tested at other institutions. While pooling datasets from multiple institutions and retraining may provide a straightforward solution, it is often infeasible and may compromise patient privacy. An alternative approach is to fine-tune the model on subsequent institutions after training on the original institution. Notably, this approach degrades model performance at the original institution, a phenomenon known as catastrophic forgetting. In this paper, we develop an approach to address catastrophic forget-ting based on elastic weight consolidation combined with modulation of batch normalization statistics under two scenarios: first, for expanding the domain from one imaging system's data to another imaging system's, and second, for expanding the domain from a large multi-institutional dataset to another single institution dataset. We show that our approach outperforms several other state-of-the-art approaches and provide theoretical justification for the efficacy of batch normalization modulation. The results of this study are generally applicable to the deployment of any clinical deep learning model which requires domain expansion.

研究の動機と目的

• 新しい医療機関や画像診断システムに深層学習モデルを展開する際の深刻な忘却の課題に対処すること。
• 再トレーニングを再び開始することなく、元のデータセットで高いパフォーマンスを維持しながら、新しいドメインデータに適応する手法を開発すること。
• プライバシー制限やデータ共有の制限を克服し、中央集権的な再トレーニングではなく、微調整による段階的ドメイン拡張を可能にすること。
• バッチ正規化の変調がドメイン間の分布シフトを軽減するメカニズムについて理論的裏付けを提供すること。
• 多施設環境における臨床的実装を想定した深層学習モデルの実用的汎用性を実証すること。

提案手法

• 元のデータセットから学習した重要なパラメータの更新を制約するため、Elastic Weight Consolidation (EWC) を適用し、パラメータの重要度正則化によって知識を保持する。
• 微調整中に内部活性化を新しいドメインに合わせるため、バッチ正規化 (BN) の統計（移動平均と分散）を適応的に変調する手法を導入する。
• EWCとBN変調を組み合わせ、段階的微調整中に元のドメインとターゲットドメインの両方でパフォーマンスが安定するようにする。
• 複数の視点からの画像予測を患者単位で平均化して、最終的な患者単位の乳房密度評価を生成する。
• ImageNetでの事前学習を施したResNet-50モデルを用い、交差エントロピー損失とAdam最適化アルゴリズムを用い、早期停止とモデルチェックポイントの保存を実施する。
• 訓練中にランダムな反転と回転（最大45°）を適用することで、モデルの頑健性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 EWCとBN変調を組み合わせることで、新しい機関のデータに対して深層学習モデルを微調整する際、深刻な忘却を効果的に軽減できるか？
• RQ2 提案手法は、元のドメインとターゲットドメインの両方でパフォーマンスを維持する点で、最先端の手法と比較してどのように優れているか？
• RQ3 BN変調は、異なる画像診断システムや機関間で内部特徴分布をどの程度効果的に一致させられるか？
• RQ4 再トレーニングをせずに元のデータセットでのモデルパフォーマンスを維持しながら、新しいドメインでの精度を向上させられるか？
• RQ5 プライバシー制限や多様な画像診断プロトコルを伴う実臨床環境でも、本手法はスケーラブルで効果的か？

主な発見

• 提案手法は、MGHデータで微調整した後も、元のDMISTデータセットでのパフォーマンスを、ベースラインの微調整や他の最先端手法よりも顕著に上回った。
• EWCとBN変調の組み合わせにより、元のDMISTデータセットでCohen’s Kappaスコア0.72、MGHデータセットで0.75を達成し、ドメイン間での強い一般化性能を示した。
• EWC単体やBN変調単体よりも顕著な改善が見られたことから、両手法の組み合わせによる相乗効果が裏付けられた。
• 理論的分析により、BN変調がドメイン間の内部共変量シフトを効果的に低減することが確認され、忘却軽減における役割が支持された。
• Wilcoxon符号順位検定を用いた統計的分析により、複数の評価指標でp < 0.05の有意差が得られ、性能向上が統計的に有意であることが確認された。
• 異なる画像診断システム（例：Hologic対GE）のデータで微調整しても、本手法は高いモデルの頑健性を維持した。これにより、実臨床環境における汎用性が裏付けられた。