[論文レビュー] Assessing a mobile-based deep learning model for plant disease surveillance

Amanda Ramcharan, Peter McCloskey+6 more|arXiv (Cornell University)|May 4, 2018

Smart Agriculture and AI参考文献 19被引用数 8

ひとこと要約

本研究では、タンザニアの現実の現地条件下でサツマイモの葉の病気をリアルタイムで検出するため、畝巻きニューラルネットワーク（CNN）を用いたモバイルデプロイ型ディープラーニングモデルを開発および評価した。クリアなデータセット上では高い性能を示したが、実際の現場の画像ではF-1スコアが32%低下した—主に再現率の低下が要因—、一般化、照明、カメラのばらつきに関する顕著な課題を浮き彫りにした。農業分野における信頼性ある現場導入には、これらの課題を解決する必要がある。

ABSTRACT

Convolutional neural network models (CNNs) have made major advances in computer vision tasks in the last five years. Given the challenge in collecting real world datasets, most studies report performance metrics based on available research datasets. In scenarios where CNNs are to be deployed on images or videos from mobile devices, models are presented with new challenges due to lighting, angle, and camera specifications, which are not accounted for in research datasets. It is essential for assessment to also be conducted on real world datasets if such models are to be reliably integrated with products and services in society. Plant disease datasets can be used to test CNNs in real time and gain insight into real world performance. We train a CNN object detection model to identify foliar symptoms of diseases (or lack thereof) in cassava (Manihot esculenta Crantz). We then deploy the model on a mobile app and test its performance on mobile images and video of 720 diseased leaflets in an agricultural field in Tanzania. Within each disease category we test two levels of severity of symptoms - mild and pronounced, to assess the model performance for early detection of symptoms. In both severities we see a decrease in the F-1 score for real world images and video. The F-1 score dropped by 32% for pronounced symptoms in real world images (the closest data to the training data) due to a drop in model recall. If the potential of smartphone CNNs are to be realized our data suggest it is crucial to consider tuning precision and recall performance in order to achieve the desired performance in real world settings. In addition, the varied performance related to different input data (image or video) is an important consideration for the design of CNNs in real world applications.

研究の動機と目的

• 制御されたデータセットを超えた現実世界におけるモバイルデプロイ型ディープラーニングモデルの植物病害検出性能を評価すること。
• タンザニアの農業畑で収集した実際のモバイル撮影画像および動画におけるモデルの正確性を評価すること。
• 症状の重症度（軽度対顕著）および入力モダリティ（画像対動画）がモデル性能に与える影響を調査すること。
• 現実世界の条件下（照明のばらつき、カメラ画質の違いなど）におけるモバイルデバイス上でのCNNのデプロイに伴う主な課題を同定すること。
• 今後のモデル開発を支援するため、現場導入にあたって適合精度と再現率を最適化する必要性を強調すること。

提案手法

• クリアなサツマイモの葉画像データセットを用いて、YOLOベースのワンショット検出器を訓練し、病害症状を同定した。
• 訓練済みモデルをモバイルアプリにデプロイし、現地収集データに対してリアルタイム推論を実行した。
• 現地データは、2つの病害重症度（軽度および顕著）の合計720枚のサツマイモの葉断片から、画像および動画として収集された。
• 標準指標（適合率、再現率、F-1スコア）を用いて、実際のモバイル入力に対する性能を評価した。
• 不均一な照明やカメラアングルなどの変動環境条件下でのテストを実施した。
• トレーニングデータと実際のモバイルデータにおける性能の差を比較分析し、分布シフトの度合いを定量化した。

実験結果

リサーチクエスチョン

• RQ1 モバイルデプロイ型CNNモデルのサツマイモ病害検出性能は、クリアなデータセットと比較して、現実の現場データでどの程度低下するか？
• RQ2 現実のモバイル画像および動画において、症状の重症度（軽度対顕著）が再現率およびF-1スコアに与える影響は何か？
• RQ3 現実の現場条件下で、静止画像と動画という異なる入力モダリティは、モデル性能にどのように異なる影響を与えるか？
• RQ4 照明、カメラアングル、解像度といった環境要因が、モバイルベース病害検出モデルの信頼性にどの程度影響を与えるか？
• RQ5 農業監視分野におけるモバイルCNNの現場導入を改善するために、どのようなチューニング戦略が不可欠か？

主な発見

• 顕著な症状に対して、実際のモバイル画像でテストした際、F-1スコアが32%低下したが、主に再現率の低下が要因であった。
• 性能低下は顕著な症状に対して顕著であり、現実世界の条件下で明確な病害症状を検出する困難さを示している。
• 実際の現場環境では再現率が低く、高信頼度の予測を示しても、実際に病気の症例を多く見逃していることが示唆された。
• 画像入力と動画入力との間で性能に顕著な差が認められ、モデル設計および評価段階で入力モダリティを考慮する必要があることを示している。
• 本研究は、実際のデータが、ベンチマークデータセットで良好な性能を示しても、モデルの信頼性に深刻な影響を与える分布シフトを引き起こすことを確認した。
• 研究結果は、理想化されたデータセットからの性能指標に依存するのではなく、現場導入にあたって適合率と再現率を最適化する必要性が極めて重要であることを強調している。