[論文レビュー] Can Pretrained Neural Networks Detect Anatomy?

Vlado Menkovski, Zharko Aleksovski+2 more|arXiv (Cornell University)|Dec 18, 2015

AI in cancer detection参考文献 7被引用数 3

ひとこと要約

この論文は、事前学習済みおよびカスタム畳み込みニューラルネットワークを用いたX線画像における解剖学的構造検出のための転移学習とデータ拡張を調査している。事前学習済みOverFeatネットワークをSVMで微調整することで92.42%の精度を達成した一方、重度のデータ拡張と正則化を施したカスタムCNNは95.14%の精度に達し、限られた医療データにおいても適切な正則化と拡張手法を適用すれば、強固な特徴学習が可能であることを示している。

ABSTRACT

Convolutional neural networks demonstrated outstanding empirical results in computer vision and speech recognition tasks where labeled training data is abundant. In medical imaging, there is a huge variety of possible imaging modalities and contrasts, where annotated data is usually very scarce. We present two approaches to deal with this challenge. A network pretrained in a different domain with abundant data is used as a feature extractor, while a subsequent classifier is trained on a small target dataset; and a deep architecture trained with heavy augmentation and equipped with sophisticated regularization methods. We test the approaches on a corpus of X-ray images to design an anatomy detection system.

研究の動機と目的

• 注釈付き医療画像データが限られる問題に対処するため、転移学習とデータ拡張戦略を検討すること。
• 自然画像で学習した事前学習済みニューラルネットワークが、医療画像における解剖学的構造検出に一般化可能かどうかを評価すること。
• 強い正則化とデータ拡張を用いることで、小規模な医療データセット上でディープネットワークを効果的に学習できるかどうかを調査すること。
• オフザシェルの特徴抽出器（例：OverFeat）と、医療データ上でエンドツーエンドに訓練されたカスタムアーキテクチャの性能を比較すること。

提案手法

• ImageNetで事前学習されたOverFeatネットワークをX線画像からの4096次元特徴を抽出するために微調整する。
• 5分割交差検証と正則化（C）の体系的超パrameterサーチを用いて、抽出された特徴上で線形多クラスSVMを訓練する。
• Razavianらの研究にインspiredされたカスタムディープCNNを設計し、バッチ正則化、ドロップアウト、リプルReLU活性化関数を用いる。
• リサイズ、クロップ、回転、平行移動、ねじり、伸縮、反転を含む広範なデータ拡張を実施し、有効なトレーニングデータ量を増加させる。
• 24の解剖的クラスを含む14,676枚のX線画像からなる小規模なX線データセット上で、カスタムCNNをエンドツーエンドに訓練する。
• ImageClef 2009医療画像データセットを用い、90/10のトレーニング・テスト分割で両アプローチの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 自然画像で事前学習されたニューラルネットワークが、X線画像における解剖学的構造検出のための効果的な特徴抽出器として機能できるか？
• RQ2 自然画像で事前学習されたネットワークを用いた転移学習と、データ拡張を用いてから scratch からカスタムディープネットワークを訓練する方法とでは、性能にどのような差があるか？
• RQ3 データ拡張と正則化をどれほど適用すれば、注釈付き医療トレーニングデータが限られる状況を補えるか？
• RQ4 事前学習済みネットワークの最後のレイヤーのみを微調整するのでは、医療画像分野における有効な転移学習に十分か？

主な発見

• OverFeat + SVMアプローチは、X線画像における解剖学的構造検出タスクで92.42%のテスト精度を達成した。
• 重度のデータ拡張と正則化を施したカスタムCNNは、95.14%の高い精度に達し、転移学習ベースラインを上回った。
• OverFeatのような事前学習済みネットワークは、元の学習ドメイン外でも強力な汎用的画像記述子として機能する。
• 十分に深いアーキテクチャは、攻撃的なデータ拡張と正則化技術を組み合わせることで、小規模な医療データセット上でも成功裏に訓練可能である。
• 事前学習済みネットワークの最後のレイヤーのみを微調整する戦略は、データが限られる医療画像分野においても実用的かつ効果的な転移学習手法である。