[論文レビュー] Performance Evaluation of Deep Transfer Learning on Multiclass Identification of Common Weed Species in Cotton Production Systems

Dong Chen, Yuzhen Lu+2 more|arXiv (Cornell University)|Oct 11, 2021

Plant Virus Research Studies被引用数 6

ひとこと要約

本研究では、ミシシッピ州およびノースカロライナ州で収集された自然光下の画像5,187枚からなる新しいデータセットを用いて、15種の一般的な綿花畑の雑草を多クラス識別するための深層転移学習（DTL）を評価した。DTLは95%を超えるF1スコアを達成し、ResNet101は99.1%のスコアを記録した。重み付き交差エントロピー損失関数により、マイノリティクラスの識別が顕著に向上し、実世界の農業における正確な雑草管理の強力な可能性を示した。

ABSTRACT

Precision weed management offers a promising solution for sustainable cropping systems through the use of chemical-reduced/non-chemical robotic weeding techniques, which apply suitable control tactics to individual weeds. Therefore, accurate identification of weed species plays a crucial role in such systems to enable precise, individualized weed treatment. This paper makes a first comprehensive evaluation of deep transfer learning (DTL) for identifying common weeds specific to cotton production systems in southern United States. A new dataset for weed identification was created, consisting of 5187 color images of 15 weed classes collected under natural lighting conditions and at varied weed growth stages, in cotton fields during the 2020 and 2021 field seasons. We evaluated 27 state-of-the-art deep learning models through transfer learning and established an extensive benchmark for the considered weed identification task. DTL achieved high classification accuracy of F1 scores exceeding 95%, requiring reasonably short training time (less than 2.5 hours) across models. ResNet101 achieved the best F1-score of 99.1% whereas 14 out of the 27 models achieved F1 scores exceeding 98.0%. However, the performance on minority weed classes with few training samples was less satisfactory for models trained with a conventional, unweighted cross entropy loss function. To address this issue, a weighted cross entropy loss function was adopted, which achieved substantially improved accuracies for minority weed classes. Furthermore, a deep learning-based cosine similarity metrics was employed to analyze the similarity among weed classes, assisting in the interpretation of classifications. Both the codes for model benchmarking and the weed dataset are made publicly available, which expect to be be a valuable resource for future research in weed identification and beyond.

研究の動機と目的

• 実際の畑環境下で綿生産システムにおける一般的な雑草種の高精度で頑健な画像分類システムの開発を目的とする。
• 特に訓練サンプルが限られるレアまたはマイノリティ雑草種を含む、雑草画像データセットにおけるクラス不均衡の課題に対処することを目的とする。
• 転移学習を用いた多クラス雑草識別における最先端のディープラーニングモデルの包括的ベンチマークを確立することを目的とする。
• 重み付き交差エントロピー損失関数やフォーカル損失のような損失関数が、代表が不足する雑草クラスの分類性能をどの程度向上させるかを評価することを目的とする。
• 今後の農業分野におけるコンピュータビジョン研究を支援するため、公開可能なデータセットとコードを提供することを目的とする。

提案手法

• 2020年および2021年の間、ミシシッピ州およびノースカロライナ州の複数の綿畑で、自然光下および多様な生育段階の下で、15種の雑草のカラー画像を合計5,187枚収集した。
• ImageNetで事前学習済みのバックボーンを用いて、カスタムの綿雑草データセットで微調整する転移学習により、27種類の最先端ディープラーニングモデルを訓練した。
• マイノリティクラスに高い損失重みを割り当てることで、トレーニング中のクラス不均衡を緩和するため、重み付き交差エントロピー（WCE）損失関数を採用した。
• 特徴空間内の関係を分析し、雑草クラス間の誤分類を解釈するために、ディープラーニングベースのコサイン類似度メトリクスを適用した。
• モデルの汎化性能を向上させるために、ランダム回転やピクセル正規化などのデータ拡張技術を用いたが、GANベースの拡張は完全には検討されなかった。
• F1スコア、マクロ平均F1スコア、混同行列を用いてモデルの性能を評価し、全体的およびクラス別での正確性を評価した。

実験結果

リサーチクエスチョン

• RQ1 構造のない畑環境下でも、深層転移学習は一般的な綿花畑の雑草を高精度で多クラス分類できるか？
• RQ2 画像品質や生育段階の異なる多様な雑草種を分類する際、さまざまなディープラーニングアーキテクチャはどの程度の性能を示すか？
• RQ3 データセット内のクラス不均衡が、とくにレアな雑草種のモデル性能にどの程度影響を及ぼすか？
• RQ4 重み付き損失関数（例：WCE）は、標準的な交差エントロピー損失関数と比較して、マイノリティクラスの分類精度を顕著に向上させられるか？
• RQ5 ディープラーニングベースの類似度メトリクス（例：コサイン類似度）は、モデルの誤分類を解釈・診断するのをどの程度支援できるか？

主な発見

• 深層転移学習は高い多クラス分類性能を達成し、全モデルでF1スコアが95%を超えた。27モデル中14モデルがF1スコア98.0%以上を達成した。
• ResNet101が最高のF1スコア99.1%を記録し、本ベンチマークで最良の性能を示した。
• 重み付き交差エントロピー（WCE）損失関数により、マイノリティクラスの検出が顕著に向上し、Spurred AnodaのF1スコアがMnasNetで20%から80%、EfficientNet-b2で40%から80%に上昇した。
• コサイン類似度メトリクスにより、雑草クラス間の意味のある関係が明らかになり、誤分類のパターンの解釈に役立った。
• 全体的な性能は優れていたが、EfficientNetのようなモデルはマイノリティクラスで最適でない結果を示し、クラスバランス調整技術の導入が求められることが示された。
• 公開されたデータセット（5,187枚の画像、15クラス）およびコードベースは、今後の農業コンピュータビジョン分野の研究における貴重なベンチマークとなることが期待される。