[論文レビュー] Critical Assessment of Transfer Learning for Medical Image Segmentation with Fully Convolutional Neural Networks

Davood Karimi, Simon K. Warfield+1 more|arXiv (Cornell University)|May 30, 2020

Radiomics and Machine Learning in Medical Imaging被引用数 14

ひとこと要約

この論文は、医療画像セグメンテーションにおける完全畳み込みネットワーク（FCN）の転移学習を批判的に評価し、エンコーダーを固定してデコーダーのみを訓練することで高い精度が得られることを示している。驚くべきことに、事前学習済み特徴量は従来の考え以上に重要ではなく、特に深いデコーダー層で顕著な特徴再利用が観察された。これはエンコーダーのファインチューニングに関する従来の常識に挑戦するものである。

ABSTRACT

Transfer learning is widely used for training machine learning models. Here, we study the role of transfer learning for training fully convolutional networks (FCNs) for medical image segmentation. Our experiments show that although transfer learning reduces the training time on the target task, the improvement in segmentation accuracy is highly task/data-dependent. Larger improvements in accuracy are observed when the segmentation task is more challenging and the target training data is smaller. We observe that convolutional filters of an FCN change little during training for medical image segmentation, and still look random at convergence. We further show that quite accurate FCNs can be built by freezing the encoder section of the network at random values and only training the decoder section. At least for medical image segmentation, this finding challenges the common belief that the encoder section needs to learn data/task-specific representations. We examine the evolution of FCN representations to gain a better insight into the effects of transfer learning on the training dynamics. Our analysis shows that although FCNs trained via transfer learning learn different representations than FCNs trained with random initialization, the variability among FCNs trained via transfer learning can be as high as that among FCNs trained with random initialization. Moreover, feature reuse is not restricted to the early encoder layers; rather, it can be more significant in deeper layers. These findings offer new insights and suggest alternative ways of training FCNs for medical image segmentation.

研究の動機と目的

• FCNを用いた医療画像セグメンテーションにおける転移学習の実際の影響を、セグメンテーション精度の観点から評価すること。
• 医療画像セグメンテーションで高い性能を発揮するためには、事前学習済みエンコーダー重みが不可欠であるかどうかを調査すること。
• 訓練中にネットワークの各層における学習済み表現と特徴再利用の変化を分析すること。
• エンコーダーの完全なファインチューニングを回避する代替訓練戦略を検討すること。
• 転移学習が精度と収束速度に有意義な向上をもたらす条件を理解すること。

提案手法

• 複数の医療画像データセット（肝臓CT、胎児脳、膵臓、脳病変）を用いて、転移学習とランダム初期化の両方でFCNを訓練した。
• 特徴再利用を指標として、各層における特徴マップのコサイン類似度を計算することで、ソースタスクとターゲットタスク間での知識移転の度合いを定量化した。
• 完全なファインチューニング、エンコーダーの固定、デコーダーのみの訓練の各モデルを比較し、性能と収束ダイナミクスを評価した。
• 射影方向解析と特徴類似度指標を用いて、訓練中の表現の変化を分析した。
• 異なる画像モodal（MRI 対 CT）や画像品質レベルを含む多様なドメインシフトに対して、転移学習の効果を評価した。
• 主なパフォーマンス指標としてDice Similarity Coefficient (DSC) と訓練時間を報告した。

実験結果

リサーチクエスチョン

• RQ1 転移学習は、FCNを用いた医療画像セグメンテーションにおいて一貫してセグメンテーション精度を向上させるのか？
• RQ2 転移学習で訓練されたFCNは、ランダム初期化で訓練されたものと比較して、どの程度優れているのか？
• RQ3 医療画像セグメンテーションのためのFCN訓練中に、畳み込みフィルタはどの程度変化するのか？
• RQ4 医療画像分野における転移学習において、特徴再利用は初期エンコーダー層か、より深いデコーダー層のどちらに顕著に現れるのか？
• RQ5 エンコーダーを固定してデコーダーのみを訓練することで、高精度なセグメンテーションを達成できるのか？

主な発見

• 転移学習は訓練時間を短縮するが、特にターゲットデータが豊富で画像品質が高い場合には、精度向上は限定的である。
• 限られたデータ量または低品質なデータを扱う困難なタスクでは、転移学習により顕著な精度向上が得られ、皮質板セグメンテーションでDSCが最大0.10向上した。
• FCNの畳み込みフィルタは訓練中にほとんど変化せず、収束時でさえもランダムに見えることが示され、エンコーダーにおける特徴適応が最小限であることが示唆された。
• エンコーダーを固定し、最後の2層のデコーダーのみを訓練することで、たとえランダム初期化であっても、非常に高い精度（Liver-CTでDSC > 0.95）のモデルが達成可能である。
• 特徴再利用は初期層に限定されていない。一部のケースでは、エンコーダーからデコーダーにかけて再利用度が増し、デコーダー層での再利用値が最大0.690に達した。
• 転移学習で訓練されたモデルは、ランダム初期化で訓練されたモデルと同様に、表現のばらつきが大きく、学習済み特徴の間で一貫性が低いことが示された。