[論文レビュー] Deep Mangoes: from fruit detection to cultivar identification in colour images of mango trees

Philippe Borianne, Frédéric Borne+2 more|arXiv (Cornell University)|Sep 24, 2019

Smart Agriculture and AI参考文献 35被引用数 15

ひとこと要約

本稿では、高解像度のカラーマンゴーの木画像においてマンゴーの実を検出するとともに、その系統（Kent、Keitt、Boucodiekhal）を同定するFaster R-CNNベースの手法を提案する。500×500ピクセルのタイルにおける果実検出ではF1スコア0.90を達成し、検出と同定の統合タスクでは0.56を記録。検出された果実における系統分類の正確度は80％に達しており、マスクR-CNNおよびデュアルストリームFaster R-CNNとの統合による性能向上の可能性を示唆している。

ABSTRACT

This paper presents results on the detection and identification mango fruits from colour images of trees. We evaluate the behaviour and the performances of the Faster R-CNN network to determine whether it is robust enough to "detect and classify" fruits under particularly heterogeneous conditions in terms of plant cultivars, plantation scheme, and visual information acquisition contexts. The network is trained to distinguish the 'Kent', 'Keitt', and "Boucodiekhal" mango cultivars from 3,000 representative labelled fruit annotations. The validation set composed of about 7,000 annotations was then tested with a confidence threshold of 0.7 and a Non-Maximal-Suppression threshold of 0.25. With a F1-score of 0.90, the Faster R-CNN is well suitable to the simple fruit detection in tiles of 500x500 pixels. We then combine a multi-tiling approach with a Jaccard matrix to merge the different parts of objects detected several times, and thus report the detections made at the tile scale to the native 6,000x4,000 pixel size images. Nonetheless with a F1-score of 0.56, the cultivar identification Faster R-CNN network presents some limitations for simultaneously detecting the mango fruits and identifying their respective cultivars. Despite the proven errors in fruit detection, the cultivar identification rates of the detected mango fruits are in the order of 80%. The ideal solution could combine a Mask R-CNN for the image pre-segmentation of trees and a double-stream Faster R-CNN for detecting the mango fruits and identifying their respective cultivar to provide predictions more relevant to users' expectations.

研究の動機と目的

• 複雑で多様な農業画像環境下におけるマンゴーの実の検出と識別を可能にする堅牢なディーブラーニングシステムの開発。
• 異なる照明条件、木の構造、撮影条件の下で、Faster R-CNNが3つの主要なマンゴー系統（Kent、Keitt、Boucodiekhal）の検出と分類にどの程度有効であるかの評価。
• スケールの変動とオブジェクトの断片化の課題に対処するため、マルチタイリングとジャコーディ行列を用いた空間的マージを組み合わせること。
• 高解像度画像（6,000×4,000ピクセル）における果実検出と系統分類の統合可能性の評価。
• 現在の検出および分類性能における限界を特定し、実世界の農業応用に適したより効果的なアーキテクチャの提案。

提案手法

• Kent、Keitt、Boucodiekhalの3系統のマンゴー実3,000例をアノテートしたデータセットを用いてFaster R-CNNモデルを学習。
• タイルベースの推論における後処理として、信頼度閾値0.7および非最大抑制（NMS）の閾値0.25を設定。
• 6,000×4,000ピクセルの大きな画像を処理するため、マルチタイリング戦略を採用し、500×500ピクセルのタイルに分割。
• 隣接するタイル間の重複検出をマージするために、ジャコーディ行列を用いる。
• 検証セット（約7,000アノテーション）を用いて検出および分類性能を評価。
• 木の画像セグメンテーションにマスクR-CNNを、果実の検出と系統分類の同時処理にデュアルストリームFaster R-CNNを組み合わせたハイブリッドアーキテクチャを提案。

実験結果

リサーチクエスチョン

• RQ1 Faster R-CNNは、異なる系統の間で著しく変動する色合いや構造的要因がある条件下でも、マンゴーの実を信頼性高く検出できるか？
• RQ2 実世界の撮影制約下で、Faster R-CNNはマンゴーの実の検出と系統同定を同時にどの程度効果的に行えるか？
• RQ3 ジャコーディベースのマージを用いたマルチタイリングによって、大規模画像における検出の一貫性はどの程度向上するか？
• RQ4 検出と分類の統合タスクにおける主な失敗モードは何か。それらはどのように緩和できるか？
• RQ5 果実の検出と系統同定を同時に実行する際、デュアルストリームFaster R-CNNアーキテクチャは単一ストリームアプローチよりも効果的か？

主な発見

• 500×500ピクセルのタイルにおける果実検出タスクで、Faster R-CNNはF1スコア0.90を達成しており、タイル単位の制御された条件下での優れた検出性能を示している。
• 検出と系統同定の統合タスクではF1スコアが0.56にとどまり、同時にオブジェクト検出と細分化分類を実行する上での顕著な課題が明らかになった。
• 検出エラーが存在するにもかかわらず、検出された果実に対する系統分類の正確度は約80％に達しており、検出が信頼できる場合に分類が堅牢である可能性を示している。
• マルチタイリングとジャコーディ行列によるマージにより、断片的なタイルレベルの検出結果から、完全な画像のオブジェクト位置が効果的に再構築された。
• 本研究では、現在の単一ストリームFaster R-CNNが検出と分類の統合タスクにおいて限界を示していることが判明し、これに基づいてデュアルストリームアーキテクチャの開発が促された。
• 著者らは、マスクR-CNNによる木のセグメンテーションと、二重ストリームFaster R-CNNによる果実検出と系統分類の統合を組み合わせたアーキテクチャが、実世界の農業ビジョンタスクに対してより効果的であると結論づけている。