[論文レビュー] DeepApple: Deep Learning-based Apple Detection using a Suppression Mask R-CNN

Pengyu Chu, Zhaojian Li+3 more|arXiv (Cornell University)|Oct 19, 2020

Smart Agriculture and AI参考文献 26被引用数 5

ひとこと要約

本稿では、複雑な畑環境におけるりんごの検出に耐性のある、抑制型Mask R-CNNフレームワークであるDeepAppleを提案する。バックボーンから非りんご特徴をフィルタリングする抑制ブランチを統合することで、標準デスクトップ上で1フレームあたり0.25秒の検出時間、F1スコア0.905の最先端の性能を達成し、照明の変動や隠蔽状態の下でも、既存のモデルに比べて顕著に精度が向上した。

ABSTRACT

Robotic apple harvesting has received much research attention in the past few years due to growing shortage and rising cost in labor. One key enabling technology towards automated harvesting is accurate and robust apple detection, which poses great challenges as a result of the complex orchard environment that involves varying lighting conditions and foliage/branch occlusions. This letter reports on the development of a novel deep learning-based apple detection framework named DeepApple. Specifically, we first collect a comprehensive apple orchard dataset for 'Gala' and 'Blondee' apples, using a color camera, under different lighting conditions (sunny vs. overcast and front lighting vs. back lighting). We then develop a novel suppression Mask R-CNN for apple detection, in which a suppression branch is added to the standard Mask R-CNN to suppress non-apple features generated by the original network. Comprehensive evaluations are performed, which show that the developed suppression Mask R-CNN network outperforms state-of-the-art models with a higher F1-score of 0.905 and a detection time of 0.25 second per frame on a standard desktop computer.

研究の動機と目的

• 変動する照明条件や隠蔽状態がある実際の畑環境における、正確で耐性のあるりんご検出の課題に対処すること。
• 葉や枝による誤検出を低減するためのディープラーニングベースの検出フレームワークの開発。
• 多様な照明および環境条件下での「Gala」と「Blondee」りんごの包括的なデータセットの収集と処理。
• 非りんご特徴をフィルタリングする抑制ブランチを導入することで、既存のMask R-CNNモデルを改善すること。
• ロボット収穫用途におけるりんご検出の最先端のパフォーマンスを達成すること。

提案手法

• 標準のMask R-CNNに抑制ブランチを追加することで、新しい抑制型Mask R-CNNアーキテクチャを考案し、特徴マップからの非りんご特徴をフィルタリングする。
• 抑制ブランチは、分類ブランチにおける$th_1$と特徴抑制ヘッドにおける$th_2$の2つの信頼度閾値を用い、誤検出の抑制を動的に制御する。
• 太陽光、曇天、前面照光、背面照光の条件下で収集された2つの畑からの13,905枚の画像から構成されるカスタムデータセット上で、ネットワークをエンドツーエンドに訓練した。
• 精度と再現率のバランスを最適化するために、$th_1$と$th_2$のチューニングにパレートフロント解析を用いた。
• バックボーンにはResNet-50を用い、標準指標（精度、再現率、F1スコア）を用いてモデルを評価した。
• アブレーションスタディでは、ResNet-50、ResNet-101、ResNet-152バックボーンを用いた標準Mask R-CNNと比較した。

実験結果

リサーチクエスチョン

• RQ1 Mask R-CNNに抑制ブランチを導入することで、畑のシーンにおける隠蔽や非果実構造による誤検出を効果的に低減できるか？
• RQ2 実世界の照明条件や隠蔽状態の下で、提案された抑制型Mask R-CNNは、F1スコアと推論速度の点で最先端のモデルと比較してどのように性能を発揮するか？
• RQ3 抑制機構の統合により、異なるりんご品種や照明条件下でも検出の耐性が向上するか？
• RQ4 抑制閾値$th_1$と$th_2$をチューニングする際の、精度と再現率の最適なトレードオフは何か？
• RQ5 より深いバックボーンネットワーク（例：ResNet-152）を用いるよりも、パrameter数を少なくして抑制機構が優れた性能を発揮できるか？

主な発見

• 抑制型Mask R-CNNは、深さの異なるResNetバックボーンを備えたすべてのベースラインモデルを上回り、F1スコア0.905を達成した。
• 標準デスクトップ上での検出時間は1フレームあたり0.25秒であり、リアルタイム実行の可能性を示した。
• 最適設定$C_1$では、ベースラインMask R-CNNと比較して、精度が10%向上し、再現率が0.4%向上した。
• 設定$C_2$では再現率が0.939に達し、誤検出率を顕著に低減しながらも高い精度を維持した。
• 「Blondee」りんごの検出性能が「Gala」りんごよりも優れており、品種特有の検出感度の差異が示唆された。
• 曇天または直接照光下の検出性能が、背面照光下よりも高かったため、人工照明の導入によりさらなる性能向上が期待できる。