[論文レビュー] What is Wrong with Continual Learning in Medical Image Segmentation?

Camila González, Nick Lemke+2 more|arXiv (Cornell University)|Oct 21, 2020

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本稿では、医療画像分類のためのマルチモデル継続的学習フレームワークであるUNEGを提案する。UNEGは、各学習ドメインに対して個別のnnU-Net分類器と自己符号化器モデルを維持する。推論時に、ドメイン固有の自己符号化器からの再構成誤差を用いて最適な分類器を選択することで、UNEGは後方転送性能において継続的学習手法を上回り、深刻な忘却を回避する。本研究は、臨床現場において、複雑な継続的学習手法よりも単純なマルチモデルベースラインがより効果的で実用的である可能性を示している。

ABSTRACT

Continual learning protocols are attracting increasing attention from the medical imaging community. In continual environments, datasets acquired under different conditions arrive sequentially; and each is only available for a limited period of time. Given the inherent privacy risks associated with medical data, this setup reflects the reality of deployment for deep learning diagnostic radiology systems. Many techniques exist to learn continuously for image classification, and several have been adapted to semantic segmentation. Yet most struggle to accumulate knowledge in a meaningful manner. Instead, they focus on preventing the problem of catastrophic forgetting, even when this reduces model plasticity and thereon burdens the training process. This puts into question whether the additional overhead of knowledge preservation is worth it - particularly for medical image segmentation, where computation requirements are already high - or if maintaining separate models would be a better solution. We propose UNEG, a simple and widely applicable multi-model benchmark that maintains separate segmentation and autoencoder networks for each training stage. The autoencoder is built from the same architecture as the segmentation network, which in our case is a full-resolution nnU-Net, to bypass any additional design decisions. During inference, the reconstruction error is used to select the most appropriate segmenter for each test image. Open this concept, we develop a fair evaluation scheme for different continual learning settings that moves beyond the prevention of catastrophic forgetting. Our results across three regions of interest (prostate, hippocampus, and right ventricle) show that UNEG outperforms several continual learning methods, reinforcing the need for strong baselines in continual learning research.

研究の動機と目的

• 継続的学習手法が医療画像分類に不可欠であるという仮定に挑戦すること。特に、高い計算コストとプライバシー制約が課される状況を考慮して。
• 知識蒸留やパラメータ正則化を用いずに、ドメインごとに個別のモデルを維持することによって、既存の継続的学習技術よりも優れたベースラインが得られるかどうかを調査すること。
• 推論時にドメインIDラベルが存在しない状況を想定した公正な評価フレームワークを構築すること。これは、臨床現場での実用的展開において一般的な制約である。
• 自己符号化器の再構成誤差によるモデル選択が、分布外またはドメインシフトが生じたテスト画像に対して、最も適切な分類器を効果的に同定できるかどうかを評価すること。
• 単に深刻な忘却を防ぐのではなく、時間経過とともに過去のドメインでの性能が向上する「正の後方転送」が、単なる忘却防止よりも意味のある指標であることを示すこと。

提案手法

• UNEG（U-Netエキスパートゲート）を提案する。これは、各学習ドメインに対して1つの分類ネットワークと1つの自己符号化器を学習するマルチモデルベンチマークであり、一貫性を保つためにnnU-Netと同一のアーキテクチャを採用する。
• 自己符号化器の再構成誤差をドメイン類似度の代理指標として用いる。テスト画像に対して再構成誤差が最小となるモデルを選択して推論を行う。
• 分類モデルと同一の前処理およびデータ拡張パイプラインを自己符号化器の学習に適用し、アーキテクチャ的および分布的整合性を確保する。
• 自己符号化器の学習に平均二乗誤差（MSE）損失を用いることで、入力画像の再構成を可能にするとともに、空間解像度を維持する。
• ドメインIDが既知（例：マルチヘッド）か未知（例：現実世界）かに応じて評価設定を明確に分ける公正な評価プロトコルを導入し、現実的なベンチマークを可能にする。
• 3つの医療画像分類タスク（前立腺、海馬、右心室）を、公開データセットを用いて評価し、多様な解剖的領域における性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器の再構成誤差によるモデル選択を用いた単純なマルチモデルアプローチが、医療画像分類において複雑な継続的学習手法を上回ることができるか？
• RQ2 既存の継続的学習手法は、単に深刻な忘却を防ぐのではなく、どれほど正の後方転送を達成しているか？
• RQ3 推論時にドメインIDラベルが利用可能であるという仮定は、臨床現場で現実的か？ また、この仮定は継続的学習の評価の妥当性にどのように影響するか？
• RQ4 ドメインラベルに依存せずに、自己符号化器に基づくモデル選択が、分布外またはドメインシフトが生じたテスト画像に対して、正しい分類器を効果的に同定できるか？
• RQ5 現実の医療画像アプリケーションにおいて、ドメインごとに個別のモデルを維持することは、継続的学習よりもより実用的で効果的な戦略であるか？

主な発見

• UNEGは、前立腺、海馬、右心室という3つの解剖的領域において、複数の継続的学習ベースラインを上回る優れたDiceスコアを達成し、後方転送性能が顕著に優れていることを示した。
• 本手法は、大多数の前立腺症例において正しいドメインを同定でき、海馬および心筋構造に対しても高い精度を維持している。これに対して、従来の手法はこれらの解剖的領域で失敗している。
• ドメイン固有の自己符号化器からの再構成誤差は、ドメインIDと強く相関しており、明示的なドメインラベルがなくても信頼できるモデル選択が可能であることを示している。
• 定性的な分析から、分布内再構成は分布外再構成よりも著しく正確であることが明らかとなり、残差マップに明確な視覚的差が観察された。
• 本研究では、多くの継続的学習手法が正の後方転送を達成できていないことが判明し、臨床現場における複雑な正則化機構の必要性に疑問を呈している。
• ドメインごとに1つの自己符号化器を追加で学習するための追加計算コストがあるものの、UNEGは、実世界の評価環境において最先端の継続的学習アプローチを上回る、堅牢で公平かつ実用的なベースラインを提供している。