[論文レビュー] Semi-Supervised Noisy Student Pre-training on EfficientNet Architectures for Plant Pathology Classification

Sedrick Scott Keh|arXiv (Cornell University)|Dec 1, 2020

Smart Agriculture and AI参考文献 22被引用数 4

ひとこと要約

本論文は、植物病害診断分類のためのEfficientNetアーキテクチャに、半教師ありNoisy Student事前学習を提案する。未ラベルデータを活用することで、モデルの汎化性能を向上させる。EfficientNetにNoisy Student distillationを適用することで、テストのROC AUCが0.982に達し、ベースラインモデルを著しく上回り、Plant Pathology FGVC7データセットにおいて新たなSOTA（最先端）を樹立した。

ABSTRACT

In recent years, deep learning has vastly improved the identification and diagnosis of various diseases in plants. In this report, we investigate the problem of pathology classification using images of a single leaf. We explore the use of standard benchmark models such as VGG16, ResNet101, and DenseNet 161 to achieve a 0.945 score on the task. Furthermore, we explore the use of the newer EfficientNet model, improving the accuracy to 0.962. Finally, we introduce the state-of-the-art idea of semi-supervised Noisy Student training to the EfficientNet, resulting in significant improvements in both accuracy and convergence rate. The final ensembled Noisy Student model performs very well on the task, achieving a test score of 0.982.

研究の動機と目的

• 単一の葉画像を用いた深層学習による植物病害診断分類の精度向上を目的とする。
• VGG16、ResNet101、DenseNet161といった標準的なCNNアーキテクチャがPlant Pathology FGVC7データセット上でどのように性能を発揮するかを評価すること。
• EfficientNetとNoisy Studentトレーニングを組み合わせた半教師あり学習の有効性を、植物病害診断分類において検証すること。
• モデルアンサンブルとハイパーパrameterチューニングを通じて、最先端の性能を達成すること。

提案手法

• Plant Pathology FGVC7データセット上で、微調整された事前学習済みEfficientNetモデルを転移学習を用いて訓練した。
• 未ラベルデータを活用して汎化性能を向上させるため、半教師ありdistillation手法であるNoisy Studentトレーニングを適用した。
• データオーグメンテーションとソフトラベルdistillationを用い、教師モデルの予測のノイズを含むバージョンを基に学生モデルを学習した。
• 収束性と性能を最適化するため、ハイパーパrameter（学習率：1e-3、最適化手法：Adam）を調整した。
• 最良の個々のモデルをアンサンブルすることで、さらにテスト性能を向上させた。
• GPUメモリ制限のため、小規模バッチサイズでモデルを訓練し、安定性と収束性に注力した。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータのもとで、Noisy StudentトレーニングはEfficientNetの植物病害診断分類性能を向上させることができるか？
• RQ2 VGG16 や ResNet101 といった標準的な転移学習モデルと比較して、EfficientNetと半教師ありNoisy Studentトレーニングの組み合わせは、どのような性能差を示すか？
• RQ3 モデルアンサンブルは、Noisy StudentでトレーニングされたEfficientNetモデルの汎化性能とロバスト性をさらに向上させるか？
• RQ4 この半教師あり設定において、最適な収束性と性能を達成するためのハイパーパrameter設定（学習率、最適化手法）は何か？

主な発見

• ベースラインのEfficientNetモデルは、テストのROC AUCが0.962を達成し、VGG16（0.933）、ResNet101（0.943）、DenseNet161（0.945）を上回った。
• EfficientNetにNoisy Studentトレーニングを適用することで、テストのROC AUCは0.967に向上し、精度とトレーニングの安定性が一貫して向上した。
• 最終的なアンサンブル済みNoisy Studentモデルは、テストスコア0.982を達成し、パブリックリーダーボード上位5％（1345件中64位）にランクインした。
• Adam最適化手法と1e-3の学習率を用いた場合、最良の性能が得られ、他の学習率ではほとんど改善が見られなかった。
• 損失関数と精度の推移曲線から、Noisy Studentモデルはベースラインモデルよりも早く収束（約18エポック目）し、変動が少なかった。
• Noisy Studentモデルの混同行列は、多病害症例の正確な分類を示しており、DenseNetのような初期モデルで見られた限界を解消した。