[論文レビュー] Fruit Quantity and Quality Estimation using a Robotic Vision System

Michael Halstead, Chris McCool+3 more|arXiv (Cornell University)|Jan 17, 2018

Smart Agriculture and AI参考文献 9被引用数 7

ひとこと要約

本論文では、視覚のみのロボットシステムを提示し、Faster R-CNNに基づくParallel-RFCNNアーキテクチャを用いて、同時にトマトの個数と品質を推定する。2日間の現地テストにおいて、77.3%のF1スコアを達成し、真値からの追跡精度が4.1%以内に収まり、変動する照明条件や葉物の干渉にも強い性能を示した。

ABSTRACT

Accurate localisation of crop remains highly challenging in unstructured environments such as farms. Many of the developed systems still rely on the use of hand selected features for crop identification and often neglect the estimation of crop quantity and quality, which is key to assigning labor during farming processes. To alleviate these limitations we present a robotic vision system that can accurately estimate the quantity and quality of sweet pepper (Capsicum annuum L), a key horticultural crop. This system consists of three parts: detection, quality estimation, and tracking. Efficient detection is achieved using the FasterRCNN framework. Quality is then estimated in the same framework by learning a parallel layer which we show experimentally results in superior performance than treating quality as extra classes in the traditional Faster-RCNN framework. Evaluation of these two techniques outlines the improved performance of the parallel layer, where we achieve an F1 score of 77.3 for the parallel technique yet only 72.5 for the best scoring (red) of the multi-class implementation. To track the crop we present a tracking via detection approach, which uses the FasterRCNN with parallel layers, that is also a vision-only solution. This approach is cheap to implement as it only requires a camera and in experiments across 2 days we show that our proposed system can accurately estimate the number of sweet pepper present, within 4.1% of the ground truth.

研究の動機と目的

• 農業用ロボット視覚システムにおいて、果物の個数と品質を統合的に推定する手法の不足に対処すること。
• 遮蔽、変動する照明、葉物の干渉など、非構造的な農場環境における課題を克服すること。
• 外部センサーや複雑なハードウェアに依存しない低コストの視覚のみのソリューションを開発すること。
• 従来のマルチクラス Faster R-CNN アプローチを上回る、検出および品質推定の正確性を向上させること。
• 動画シーケンスにおいて二重計数を防ぐトラッキング・バイ・ディテクションシステムにより、信頼性の高い果物個数のカウントを可能にすること。

提案手法

• 物体検出と果物の品質推定を並列処理として扱うParallel-RFCNNアーキテクチャを採用し、品質を離散クラスとして扱わない。
• 領域提案ネットワーク（RPN）と検出ヘッドの損失を組み合わせたカスタム損失関数を用いて学習し、重み係数γdt=0.3、γmerge=0.4、γboundary=0.5を設定。
• 空間的および外観特徴を用いてフレーム間の検出をリンクするトラッキング・バイ・ディテクションフレームワークを採用し、1果実が1回だけカウントされるようにする。
• LiDAR や GPS に依存しない、RGBカメラ入力に依存する視覚のみのパイプラインを実装。
• 非最大抑制とIoU閾値（IoU=0.4）を適用して、バウンディングボックスの予測を精緻化し、誤検出を低減。
• データ増強とトランスファー学習を活用し、若齢パプリカなど代表が少ない果実段階の一般化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 品質を離散クラスとして扱わないで、単一のディープラーニングモデルがパプリカの同時検出と品質推定を効果的に行えるか？
• RQ2 マルチクラス検出アプローチと比較して、並列検出・品質推定アーキテクチャのF1スコアおよび頑健性はどの程度優れているか？
• RQ3 遮蔽や動的な照明条件下でも、視覚のみのトラッキング・バイ・ディテクションシステムが現実の農場環境で果物個数の正確性をどの程度維持できるか？
• RQ4 成熟パプリカとはサイズや色が著しく異なる未熟果実（若齢果実）に対して、システムの性能はいかがいか？
• RQ5 複数日にわたる現地導入において、システムの総合的な果物個数推定と品質分布推定の正確性はどの程度か？

主な発見

• Parallel-RFCNNアプローチは、果物検出において77.3%のF1スコアを達成し、マルチクラス Faster R-CNNアプローチ（赤色クラスで最大72.5%）を顕著に上回った。
• 2日間の現地テストにおいて、総果物個数は真値から4.1%以内に収まり、水曜日は11.8%の誤差、木曜日は4.9%の誤差を示した。
• 全果物クラスの品質推定正確性は平均82.1%であり、赤色果実では最小誤差（0.9%）を記録したが、水曜日の濃い葉物の影響で緑色果実では誤差が11.8%に上昇した。
• 若齢果実の検出に苦戦し、専用のテストエリアで87個中51個しか検出できなかったため、初期段階のパプリカを再学習させる必要がある。
• 若齢果実専用エリアでは混合果実および赤色果実の欠如を正しく識別したため、クラス欠如に対してもシステムの頑健性が確認された。
• 視覚のみのトラッキングアプローチは効果的で低コストであり、追加センサーやキャリブレーションを必要としないことが実証された。