[論文レビュー] Deep Neural Network Based Real-time Kiwi Fruit Flower Detection in an Orchard Environment

JongYoon Lim, Ho Seok Ahn+4 more|arXiv (Cornell University)|Jun 7, 2020

Smart Agriculture and AI被引用数 12

ひとこと要約

本論文では、Faster R-CNNおよびSSDにInceptionNet V2およびNASNet特徴抽出器を組み合わせたリアルタイムのディープラーニングシステムを提案し、畑におけるキウイフルーツの花の検出を実現した。複数の季節および複数の場所で構築されたデータセットを用いた評価において、モデルは0.919の精度、0.874の再現率、0.889のF1スコアを達成し、自律受粉ロボットに適した頑健な性能を示した。

ABSTRACT

In this paper, we present a novel approach to kiwi fruit flower detection using Deep Neural Networks (DNNs) to build an accurate, fast, and robust autonomous pollination robot system. Recent work in deep neural networks has shown outstanding performance on object detection tasks in many areas. Inspired this, we aim for exploiting DNNs for kiwi fruit flower detection and present intensive experiments and their analysis on two state-of-the-art object detectors; Faster R-CNN and Single Shot Detector (SSD) Net, and feature extractors; Inception Net V2 and NAS Net with real-world orchard datasets. We also compare those approaches to find an optimal model which is suitable for a real-time agricultural pollination robot system in terms of accuracy and processing speed. We perform experiments with dataset collected from different seasons and locations (spatio-temporal consistency) in order to demonstrate the performance of the generalized model. The proposed system demonstrates promising results of 0.919, 0.874, and 0.889 for precision, recall, and F1-score respectively on our real-world dataset, and the performance satisfies the requirement for deploying the system onto an autonomous pollination robotics system.

研究の動機と目的

• 現実の畑環境におけるキウイフルーツの花を、リアルタイムかつ高精度かつ頑健に検出できるシステムを開発すること。
• 異なる季節および場所における花の外観の空間的・時間的変動性の課題に対処すること。
• 精度と推論速度のバランスを取った、自律受粉ロボットへのデプロイに最適化されたディープニューラルネットワークモデルを最適化すること。
• 最新のオブジェクト検出器（Faster R-CNN、SSD）および特徴抽出器（InceptionNet V2、NASNet）を、現実の畑データに対して評価すること。
• キウイ畑における多様な環境的および生育的条件下でのモデルの汎化能力を実証すること。

提案手法

• エンドツーエンドの花検出を実現するため、最先端の2つのオブジェクト検出フレームワーク（Faster R-CNNおよびSingle Shot Detector: SSD）を活用する。
• 小さな、部分的で、変動しやすいキウイフルーツの花の特徴表現を向上させるために、2つのディープ特徴抽出器（InceptionNet V2およびNASNet）を統合する。
• 空間的・時間的頑健性を確保するため、複数の季節および地理的場所で収集した現実の畑データセットを用いてモデルを学習および微調整する。
• モバイルロボットプラットフォームへのリアルタイムデプロイを実現するため、処理遅延と精度のトレードオフを評価することで、モデルの推論速度を最適化する。
• 照明、天候、生育段階の変化にさらされた環境下での汎化能力を向上させるために、データオーグメンテーションおよびドメイン適応技術を適用する。
• 主な評価指標として平均平均適合率（mAP）およびF1スコアを用い、異なるモデル構成間での性能を評価・比較する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、複雑で変動しやすい畑環境において、高い精度とリアルタイムの推論速度を達成できるか？
• RQ2 現実の畑データにおいて、異なるオブジェクト検出アーキテクチャ（Faster R-CNN対SSD）および特徴抽出器（InceptionNet V2対NASNet）は、精度と速度の観点でどのように比較されるか？
• RQ3 モデルはどの程度、異なる季節および場所にわたって汎化可能であり、検出性能に空間的・時間的整合性を保っているか？
• RQ4 自律受粉ロボットへのデプロイに最適な、高精度な検出と低遅延推論を両立させる最適なモデル構成は何か？
• RQ5 提案されたシステムは、現実の農業ロボットアプリケーションにおける信頼性ある運用に十分な性能指標を達成できるか？

主な発見

• 提案されたシステムは、現実の畑データセットにおいて、精度0.919、再現率0.874、F1スコア0.889を達成し、強力な検出性能を示した。
• モデルは異なる季節および場所においても頑健であることが確認され、多様な環境的および生育的条件下での汎化能力が裏付けられた。
• 評価されたモデルの中では、NASNet特徴抽出器を搭載したSSDが、速度と精度のバランスが最も良く、リアルタイムのロボットデプロイに適していた。
• 学習段階で複数の季節および場所のデータを活用したことで、特定の条件下への過学習を著しく低減し、モデルの汎化能力が向上した。
• システムの性能指標は、自律受粉ロボットへの統合に必要な要件を満たしており、実用的実現可能性が裏付けられた。
• 結果から、ディープラーニングベースのオブジェクト検出が、キウイ畑における標的受粉などのリアルタイムで現地に適用可能な農業分野の応用に実現可能であることが確認された。