[論文レビュー] A Comparative Study of Deep Learning Classification Methods on a Small Environmental Microorganism Image Dataset (EMDS-6): from Convolutional Neural Networks to Visual Transformers

Peng Zhao, Chen Li+6 more|arXiv (Cornell University)|Jul 16, 2021

Cell Image Analysis Techniques被引用数 4

ひとこと要約

本研究では、環境微生物画像データセット（EMDS-6）という小規模なデータセット上で、CNNからビジョントランスフォーマー（ViTs）まで21種類のディーブラーニングモデルを評価し、限られたデータ環境における最適なアーキテクチャを特定することを目的としている。Xceptionが最も高い分類精度を達成した。ViTは訓練時間が最も速く、ShuffleNet-V2はパラメータ数が最も少なかった。幾何的データ拡張は、アテンションに基づくグローバル特徴抽出を行うViTモデルに対してはほとんど効果を示さなかった。

ABSTRACT

In recent years, deep learning has made brilliant achievements in Environmental Microorganism (EM) image classification. However, image classification of small EM datasets has still not obtained good research results. Therefore, researchers need to spend a lot of time searching for models with good classification performance and suitable for the current equipment working environment. To provide reliable references for researchers, we conduct a series of comparison experiments on 21 deep learning models. The experiment includes direct classification, imbalanced training, and hyperparameter tuning experiments. During the experiments, we find complementarities among the 21 models, which is the basis for feature fusion related experiments. We also find that the data augmentation method of geometric deformation is difficult to improve the performance of VTs (ViT, DeiT, BotNet and T2T-ViT) series models. In terms of model performance, Xception has the best classification performance, the ViT model consumes the least time for training, and the ShuffleNet-V2 model has the least number of parameters.

研究の動機と目的

• 実世界の生物学的・環境的研究で一般的に見られる、小規模な環境微生物画像データセット（EMDS-6）における優れた性能を示すディーブラーニングモデルを同定すること。
• 特に幾何的変形を用いたデータ拡張が、畳み込みニューラルネットワーク（CNNs）とビジョントランスフォーマー（VTs）に与える影響を評価すること。
• 小規模データ環境におけるモデルの収束と性能に与えるハイパーパrameterチューニング（学習率、バッチサイズ）の影響を分析すること。
• リソース制限のある環境での実装を想定した場合の、精度、訓練時間、パラメータ数のアーキテクチャ的トレードオフを明らかにすること。
• 異なるアーキテクチャ間で相補的な性能を示すことを踏まえ、研究者がモデル選定やアンサンブル／ファージョン戦略を設計するための比較的基準を提供すること。

提案手法

• EMDS-6データセット上で17種類のCNN（例：ResNet、DenseNet、VGG、Inception、Xception、MobileNet、ShuffleNet）と4種類のビジョントランスフォーマー（ViT、DeiT、T2T-ViT、BotNet）を比較した。
• 3つの実験設定を実施：直接分類、回転およびミラー変換によるデータ拡張（6倍の拡張）、クラス不均衡なサブセットでの不均衡な訓練。
• 入力画像を224×224解像度に統一し、交差エントロピー損失とAdam最適化手法を用いた標準的なトレーニングプロトコルを適用した。
• 小規模データ環境における感受性を評価するため、学習率とバッチサイズを変化させたハイパーパrameterアブレーションスタディを実施した。
• アンサンブル設計の支援を目的として、モデル間の補完的行動を特定するための特徴融合分析を実施した。
• 標準指標（精度、訓練時間、パラメータ数）を用いてモデル性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 小規模なEMDS-6データセット上で、どのディーブラーニングアーキテクチャが最も高い分類精度を達成するか？
• RQ2 幾何的データ拡張（回転、ミラー）は、CNNと比較してビジョントランスフォーマー（ViT）ベースのモデルの性能向上にどの程度効果的か？
• RQ3 小規模データ画像分類において、学習率やバッチサイズといったハイパーパrameterがモデルの収束と精度に与える影響はいかほどか？
• RQ4 この小規模データ環境下で、異なるアーキテクチャにおける精度、訓練時間、パラメータ数のトレードオフはどのようなものか？
• RQ5 なぜ幾何的データ拡張はViTの性能向上に失敗するのか？これは、そのインダクティブバイアスに何を示唆しているのか？

主な発見

• Xceptionは、EMDS-6データセット上でテストされたすべてのモデルの中で最も高い分類精度を達成した。他のCNNおよびViTよりも優れていた。
• ビジョントランスフォーマー（ViT、DeiT、T2T-ViT）は、最も短い訓練時間を要した。特にViTが最も速く、大規模データスケーリングにおいて高い効率性を示した。
• ShuffleNet-V2は100万未満のパラメータ数（1M未満）を有しており、中程度の精度であるものの、メモリ制限のある環境での実装に最適であった。
• 幾何的データ拡張（回転およびミラー）はCNNの性能を顕著に向上させたが、アテンションに基づくグローバル特徴抽出を行うViTシリーズモデルに対しては、ほとんど効果がなく、場合によっては悪影響を及えた。
• 深さの大きいVGGアーキテクチャ（VGG16、VGG19）は、EMDS-6で収束に失敗した。これは、小規模データセットにおける消失勾配の影響による可能性が高い。
• ハイパーパrameterチューニングは性能に強く影響を与えた。特にバッチ正規化を内蔵するモデルでは、学習率やバッチサイズのわずかな変更が、精度に顕著な変動を引き起こした。