[論文レビュー] Comparison of Deep Learning and Traditional Machine Learning Techniques for Classification of Pap Smear Images

Abdurrahim Yılmaz, Ali Anıl Demirçalı+2 more|arXiv (Cornell University)|Sep 11, 2020

AI in cancer detection被引用数 14

ひとこと要約

本研究では、Herlevデータセットのパピルローマス画像から正常および異常な頸部細胞を分類するために、従来の機械学習（例：XGBoost、kNN）とディープラーニング（CNN）を比較した。Google ColabとTensorFlow、scikit-learnを用いて、CNNは93％のテスト精度を達成した。これは、最高の従来手法（XGBoostとkNNが85％）を著しく上回った。CNNは手動による特徴工学を必要とせず、生画像から特徴を自動で学習した。

ABSTRACT

A comprehensive study on machine and deep learning techniques for classification of normal and abnormal cervical cells by using pap smear images from Herlev dataset results are presented. This dataset includes 917 images and 7 different classes. All techniques used in this study are modeled by using Google Colab platform with scikit-learn and Keras library inside TensorFlow. In the first study, traditional machine learning methods such as logistic regression, k-Nearest Neighbors (kNN), Support Vector Machine (SVM), Decision Tree, Random Forest and eXtreme Gradient Boosting (XGBoost) are used and compared with each other to find binary classification as normal and abnormal cervical cells. Better results are observed by XGBoost and kNN classifiers among the others with an accuracy of 85%. In the second study, a deep learning model based on Convolutional Neural Network(CNN) is used for the same dataset. Accordingly, accuracies of 99% and 93% are obtained for the training and the test dataset, respectively. In this model, it takes 50 epochs to have these accuracies within 20 minutes of computational time.

研究の動機と目的

• 従来の機械学習モデルとディープラーニングモデルの性能を、パピルローマス画像からの正常および異常な頸部細胞分類の文脈で評価・比較すること。
• Herlevデータセットを用いて、ハイパーパramータ最適化と特徴工学の影響がモデルの精度に与える影響を評価すること。
• Google Colab上でディープラーニングモデルを訓練する効率性と有効性を、医療画像分類タスクに応用して示すこと。
• 畳み込みニューラルネットワーク（CNN）のエンドツーエンド特徴学習が、従来の機械学習手法で用いられる手作業による特徴抽出を上回るかを評価すること。
• 同じデータセットと評価指標を用いて再現可能な結果を報告することで、今後の研究のベンチマークを提供すること。

提案手法

• Herlevデータセットの917枚のラベル付きパピルローマス画像を用いて、ロジスティック回帰、k-NN、SVM、ナイーブベイズ、決定木、ランダムフォレスト、XGBoostの7つの従来の機械学習モデルを訓練および比較した。
• Google ColabでKerasとTensorFlowを用いて、転移学習や事前学習なしのカスタム畳み込みニューラルネットワーク（CNN）を実装した。
• 64×64ピクセルにリサイズした画像を用い、50エポックでCNNを訓練した。これにより、最小限の手作業による特徴工学で高い性能を達成した。
• scikit-learnを用いて、標準的な指標（正解率、再現率、適合率、特異度、F1スコア）を計算し、全モデルの評価を実施した。
• 各モデルのハイパーパramータを体系的なチューニングで最適化した。CNNの計算時間は約20分、従来の機械学習の1000組のハイパーパramータコンビネーションの計算時間は約20秒であった。
• 7クラス分類問題を、軽度、中等度、重度の異形成および原発がん内皮内癌を「異常」として統合することで、二値分類問題（正常対異常）に変換した。

実験結果

リサーチクエスチョン

• RQ1 従来の機械学習モデル（例：XGBoost、kNN）は、ディープラーニングモデルと比較して、パピルローマス画像からの正常および異常な頸部細胞分類においてどの程度の性能を示すか？
• RQ2 この医療画像分類タスクにおいて、ハイパーパramータ最適化が機械学習モデルの性能に与える影響は何か？
• RQ3 カスタムCNNモデルは、転移学習や事前学習なしでHerlevデータセットで高い精度を達成できるか？
• RQ4 CNNの自動特徴抽出機能は、従来の機械学習で用いられる手作業による特徴抽出と比較して、どのように異なるか？
• RQ5 Google Colab上でこれらのモデルを訓練する際の計算効率はどのようであり、モデル開発のスピードにどのように影響するか？

主な発見

• XGBoostおよびk-Nearest Neighbors（kNN）分類器が、従来の機械学習モデルの中で最高の正解率85％を、テストセットで達成した。
• カスタム畳み込みニューラルネットワーク（CNN）は、トレーニングセットで99％、テストセットで93％の正解率を達成し、すべての従来モデルを著しく上回った。
• テストセットでは、CNNモデルが96％の適合率、93％の再現率、95％のF1スコア、89％の特異度を達成し、良好な一般化性能と頑健性を示した。
• 64×64ピクセルの画像を用い、転移学習なしでも、CNNモデルはほぼ最先端の性能を達成した。これは、複雑な前処理や特徴抽出を用いた先行研究を上回った。
• ハイパーパramータチューニングおよびモデル評価を含む、全訓練パイプラインがGoogle Colab上で20分未満で効率的に完了した。これは、迅速なプロトタイピングにおけるその有用性を示している。
• 本研究は、エンドツーエンド特徴学習を有するディープラーニングモデルが、パピルローマス画像分類において従来の機械学習手法を精度と一貫性の面で上回れることを確認した。