[論文レビュー] Study and development of a Computer-Aided Diagnosis system for classification of chest x-ray images using convolutional neural networks pre-trained for ImageNet and data augmentation

Vinicius Pavanelli Vianna|arXiv (Cornell University)|Jun 3, 2018

COVID-19 diagnosis using AI参考文献 15被引用数 13

ひとこと要約

本研究では、ImageNetで事前学習されたConvNets（AlexNet、ResNet、Inception、SqueezeNet）とデータ拡張を用いて、前処理済みの畳み込みニューラルネットワーク（ConvNets）を用いて、正常および肺炎に分類するためのコンピュータ支援診断（CAD）システムを開発した。主な発見は、トランスファーラーニングとデータ拡張を組み合わせることで、過学習が著しく軽減され、ResNet18を用いて96.37％の最高の検証精度を達成したことである。

ABSTRACT

Convolutional neural networks (ConvNets) are the actual standard for image recognizement and classification. On the present work we develop a Computer Aided-Diagnosis (CAD) system using ConvNets to classify a x-rays chest images dataset in two groups: Normal and Pneumonia. The study uses ConvNets models available on the PyTorch platform: AlexNet, SqueezeNet, ResNet and Inception. We initially use three training styles: complete from scratch using random initialization, using a pre-trained ImageNet model training only the last layer adapted to our problem (transfer learning) and a pre-trained model modified training all the classifying layers of the model (fine tuning). The last strategy of training used is with data augmentation techniques that avoid over fitting problems on ConvNets yielding the better results on this study

研究の動機と目的

• 深層学習を用いて、信頼性が高く、計算効率の良い胸部レントゲン画像分類のためのCADシステムを開発すること。
• 小規模で不均衡なデータセットにおいて、トランスファーラーニングとデータ拡張が分類精度を向上させる有効性を評価すること。
• 複数の訓練戦略（ランダム初期化、トランスファーラーニング、ファインチューニング、データ拡張）をConvNetモデルに適用し、比較すること。
• 限られた医療画像データで学習を行う際の深層学習モデルにおける過学習を軽減すること。

提案手法

• PyTorchプラットフォームから提供される事前学習済みのConvNets（AlexNet、ResNet18、Inception、SqueezeNet）を、ImageNetの重みで初期化して使用した。
• 3つの訓練戦略を実装した：スクラッチからの訓練、トランスファーラーニング（最終層のみのファインチューニング）、分類器全体の完全なファインチューニング。
• PyTorchのtorchvision.transformsを用いて、ランダムリサイズ、クロップ、水平反転を適用することで、データ拡張を実施し、トレーニングデータの多様性を向上させた。
• 収束が速く、損失が小さいという利点から、すべての実験でAdam最適化手法を、デフォルトのハイパーパrameterで使用した。
• 正常と肺炎のクラス間の1:1の比率にトレーニングおよびテストセットをバランスさせ、クラスの不均衡を軽減した。
• モデルの性能を、正解率、損失曲線、混同行列、受信器操作特性曲線（ROC曲線）を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 小規模な胸部レントゲン画像データセットにおいて、ImageNetで事前学習された重みを用いたトランスファーラーニングは、スクラッチからの訓練と比べてどのように異なるか？
• RQ2 限られた医療画像データで学習を行うConvNetsにおいて、データ拡張は過学習をどの程度軽減するか？
• RQ3 モデルアーキテクチャと訓練戦略のどの組み合わせが、胸部レントゲン画像診断において最高の分類精度を達成するか？
• RQ4 混同行列とROC曲線は、データ拡張を適用した場合としない場合の分類器の頑健性をどのように反映するか？

主な発見

• ResNet18モデルは、トランスファーラーニングとデータ拡張を組み合わせた場合、96.37％の最高の検証精度を達成した。
• 同じデータ拡張およびファインチューニング戦略を用いた場合、Inceptionモデルは95.51％の検証精度に達した。
• スクラッチからの訓練では深刻な過学習が発生し、訓練精度は100％に達したが、検証精度は86.38％で頭打ちとなった。
• データ拡張により過学習が著しく軽減されたことが、より低いかつ安定した検証損失と一般化性能の向上によって裏付けられた。
• 混同行列から、データ拡張を適用した場合、誤検出（偽陽性）と誤検出（偽陰性）が顕著に減少したことが明らかになった。
• ROC曲線から、データ拡張によりクラス分離が向上し、AUCが理想の左上隅に近づいたことが示され、分類器の頑健性が向上したことが確認された。