[論文レビュー] Evolution-based Fine-tuning of CNNs for Prostate Cancer Detection

Khashayar Namdar, Isha Gujrathi+2 more|arXiv (Cornell University)|Nov 4, 2019

Advanced Neural Network Applications参考文献 20被引用数 4

ひとこと要約

本稿では、6チャネルの拡散テンソル画像（DW-MRI）を用いた前立腺がん検出のため、事前に学習された畳み込みニューラルネットワーク（CNN）の全結合（FC）層を最適化するために遺伝的アルゴリズム（GA）を用いた進化ベースの微調整手法を提案する。個々の重みではなく層単位でGAを適用することで、1,334枚のテストスライスにおいてテストAUCが9.3%（0.707から0.773に）向上し、特徴抽出層の再学習なしに顕著な性能向上を達成した。

ABSTRACT

Convolutional Neural Networks (CNNs) have been used for automated detection of prostate cancer where Area Under Receiver Operating Characteristic (ROC) curve (AUC) is usually used as the performance metric. Given that AUC is not differentiable, common practice is to train the CNN using a loss functions based on other performance metrics such as cross entropy and monitoring AUC to select the best model. In this work, we propose to fine-tune a trained CNN for prostate cancer detection using a Genetic Algorithm to achieve a higher AUC. Our dataset contained 6-channel Diffusion-Weighted MRI slices of prostate. On a cohort of 2,955 training, 1,417 validation, and 1,334 test slices, we reached test AUC of 0.773; a 9.3% improvement compared to the base CNN model.

研究の動機と目的

• 標準的な誤差関数を用いたバックプロパゲーションによるCNNベースの前立腺がん検出において、AUC性能が最適でないという問題に対処すること。
• SGDが微分不能な指標（例：AUC）を最適化する際の限界を克服し、分類器ヘッドに進化計算を導入すること。
• 個々の重みではなく層単位で最適化することで、GAベースのCNN最適化の計算コストを低減すること。
• 特徴抽出層を凍結した状態で、FC層の進化的微調整がAUCを顕著に向上させられることを示すこと。
• 本手法を414名の患者から得た5,706枚の前立腺スライスからなる実世界のDW-MRIデータセットで検証すること。

提案手法

• 3つの畳み込み層および3つの全結合（FC）層を有する事前に学習されたCNNを用い、重みはXavierおよび一様分布による初期化を実施した。
• CNNはまず、固定学習率、モーメンタム、L2正則化を用いた交差エントロピー損失関数とSGDを用いて訓練された。
• 遺伝的アルゴリズム（GA）はFC層にのみ適用され、各層を個体として扱い、交叉および変異操作が実施された。
• 初期GA集団は512個の分類器から構成され、そのうち1つは学習済みCNNのものであり、残り511個はランダムに初期化されたものであった。
• 適応度は訓練セットにおけるAUCに基づき評価され、世代を経て選択、交叉、および変異（確率1%）が適用された。
• 検証AUCと訓練AUCの向上が止んだ時点で最適化を停止し、最終モデルは最高の検証AUCに基づいて選択された。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムが、DW-MRIからの前立腺がん検出におけるCNNの全結合層を効果的に最適化し、AUCを向上させることができるか？
• RQ2 ノードレベルの最適化と比較して、層レベルのGA変異および交叉が計算コストを低減しながらも性能向上を維持できるか？
• RQ3 特徴抽出層を凍結した状態でも、進化的微調整が標準的なSGDトレーニングを上回るAUC性能を達成できるか？
• RQ4 AUCの向上は、訓練、検証、および独立テストセットにおいて統計的に有意かつ頑健であるか？
• RQ5 最終モデルの性能に関して、AUCのモニタリングを伴う従来のトレーニングと比較して、本手法は優れているか？

主な発見

• 提案手法のGAベースの微調整により、テストAUCはSGDで学習されたモデルの0.707から0.773に向上し、相対的に9.3%の向上を達成した。
• 最良のモデルはGAの3世代目で達成され、検証AUCは0.815、テストAUCは0.773にピークに達した。
• GeForce GTX 1060 GPU上でわずか10分で最適な性能が達成され、計算上の実行可能性が示された。
• GAにより、訓練セットのAUCはSGD時の0.867から0.877に向上し、一般化性能の向上が示された。
• バックプロパゲーションの制約を回避する進化的探索により、微分不能なAUC指標を効果的に最適化できた。
• 層レベルのGAアプローチにより、ノードレベルの最適化と比較して計算オーバーヘッドを低減でき、低性能ハードウェアでも実用的であることが示された。