[論文レビュー] Towards continual learning in medical imaging

Chaitanya Baweja, Ben Glocker+1 more|arXiv (Cornell University)|Nov 6, 2018

Radiology practices and education参考文献 11被引用数 42

ひとこと要約

本論文は、Elastic Weight Consolidation (EWC) を用いて連続的に2つの脳MRI分割タスクを学習する方法を評価し、EWC が破局的忘却を低減する一方で改善の余地が大きいことを示している。

ABSTRACT

This work investigates continual learning of two segmentation tasks in brain MRI with neural networks. To explore in this context the capabilities of current methods for countering catastrophic forgetting of the first task when a new one is learned, we investigate elastic weight consolidation, a recently proposed method based on Fisher information, originally evaluated on reinforcement learning of Atari games. We use it to sequentially learn segmentation of normal brain structures and then segmentation of white matter lesions. Our findings show this recent method reduces catastrophic forgetting, while large room for improvement exists in these challenging settings for continual learning.

研究の動機と目的

• 前のタスクのデータが利用できない可能性がある医用画像分野における継続的な生涯学習の動機付け。
• 新しい分割タスクを学習する際に正則化ベースの手法が忘却をどの程度緩和できるかを評価する。
• 生物医療の設定で、旧タスクの性能を保持することと新タスクの性能を獲得することのトレードオフを定量化する。

提案手法

• Task A（CSF/GM/WM分割）に続いてTask B（白質病変分割）を含む継続学習設定を形式化する。
• Task A に関するフィッシャー情報を用いてパラメータ更新を正則化するために Elastic Weight Consolidation (EWC) を採用する。
• EWC を、ファインチューニング、L2 正則化、およびマルチタスク学習（上限）を含む他のベースラインと比較する。
• UK Biobank MRI データ（T1およびFLAIRシーケンス）で分割を行うために DeepMedic 3D CNN を使用する。
• タスク別 Dice 相関係数 (DSC) を計算し、忘却を評価するために B の訓練中の A の性能を検討する。

実験結果

リサーチクエスチョン

• RQ1 Task A のデータにアクセスできない状態で、脳MRI の新しい分割タスクを学習する際に EWC は破局的忘却を緩和できるか？
• RQ2 Task B を学習しつつ Task A の性能を保持する際、EWC は素の正則化やファインチューニングとどう比較されるか？
• RQ3 異なる正則化強度において、Task B の学習と Task A の保持のトレードオフはどうなるか？
• RQ4 現在の手法による継続的学習は、両タスクを結合しての上限と近いか？

主な発見

• EWC は naive なファインチューニングや L2 正則化と比較して Task A の忘却を低減する。
• 適切な正則化強度で、EWC は単純な L2 正則化より Task A の性能を保持しつつ Task B の性能も獲得する。
• マルチタスク学習（AとBを同時に訓練）は最良の性能（上限）をもたらすが、B の訓練時に Task A のデータが利用できない場合は不可能である。
• 正則化を用いても EWC とマルチタスク上限の間にギャップが残り、医用画像の継続学習の改善余地を示唆している。