[論文レビュー] Kiwifruit detection in challenging conditions

Mahla Nejati, Nicky Penhall+5 more|arXiv (Cornell University)|Jun 21, 2020

Smart Agriculture and AI参考文献 25被引用数 6

ひとこと要約

本稿では、眩しさや過露出の影響を受ける果樹園の厳しい照明条件下でもキウイフルーツの検出を向上させるために、新しい前処理技術を組み込んだ完全畳み込みニューラルネットワーク（FCN-8s）を用いた意味的セグメンテーション手法を提案する。この手法により、厳しい照明下でのF1スコアは0.13から0.42に向上し、全条件下で非隠蔽果実の87.0%、隠蔽果実の30.0%を検出する。

ABSTRACT

Accurate and reliable kiwifruit detection is one of the biggest challenges in developing a selective fruit harvesting robot. The vision system of an orchard robot faces difficulties such as dynamic lighting conditions and fruit occlusions. This paper presents a semantic segmentation approach with two novel image prepossessing techniques designed to detect kiwifruit under the harsh lighting conditions found in the canopy. The performance of the presented system is evaluated on a 3D real-world image set of kiwifruit under different lighting conditions (typical, glare, and overexposed). Alone the semantic segmentation approach achieves an F1_score of 0.82 on the typical lighting image set, but struggles with harsh lighting with an F1_score of 0.13. Utilising the prepossessing techniques the vision system under harsh lighting improves to an F1_score 0.42. To address the fruit occlusion challenge, the overall approach was found to be capable of detecting 87.0% of non-occluded and 30.0% of occluded kiwifruit across all lighting conditions.

研究の動機と目的

• 果樹園環境に一般的に見られる動的で厳しい照明条件下での正確なキウイフルーツ検出の課題に対処すること。
• 変動する照度や隠蔽状態に弱い従来の手作業による特徴抽出手法の限界を克服すること。
• 照明アーチファクトに特化した前処理技術を統合することで、選別用ロボットの検出耐性を向上させること。
• 通常、眩しさ、過露出の照明条件下での実世界の3次元画像データを用いて性能を評価すること。
• 追加の前処理を施しても処理時間が約1.5秒／画像程度に抑えられることで、ロボットプラットフォームへのリアルタイム導入を可能にすること。

提案手法

• キウイフルーツのピクセル単位での検出を目的として、意味的セグメンテーションに完全畳み込みニューラルネットワーク（FCN-8s）を採用する。
• 眩しさのある画像において青チャンネルを緑に置き換えることで、過露出の影響を軽減する前処理パイプラインを導入する。
• ダイナミックレンジを低減するため、過露出画像に対してはグローバルに、眩しさのある画像の部分画像に対しては局所的にヒストグラム均一化（HE）を適用する。
• データ依存性を低減するため、48枚の画像（200×200ピクセル、合計113個のキウイフルーツ）を用いてFCN-8sモデルを学習する。
• 評価のため、通常の照明、眩しさ、過露出の3つの画像カテゴリを定義し、ラベルを付与する。
• 意味的セグメンテーションと後処理を統合し、葉、ワイヤー、重なり合うがくの影響を受ける隠蔽果実の同定も含めて個々の果実を特定する。

実験結果

リサーチクエスチョン

• RQ1 実際の果樹園環境における変動的で極端な照明条件下でも、意味的セグメンテーションモデルが信頼性のあるキウイフルーツ検出を達成できるか？
• RQ2 提案された前処理技術（青チャンネル置換とヒストグラム均一化）は、眩しさと過露出下での検出性能向上にどの程度効果的か？
• RQ3 葉、枝、重なり合うがくによる果実の隠蔽は、検出精度にどの程度影響を及ぼし、モデルは依然として隠蔽果実を同定できるか？
• RQ4 リアルタイムロボットデプロイメント環境において、検出精度（F1スコア）と処理時間のトレードオフはいかなるものか？
• RQ5 誤検出数、学習データサイズ、個々の果実の検出性能の観点から、本手法は先行研究と比較してどの程度優れているか？

主な発見

• 意味的セグメンテーションモデル単体では、通常の照明条件下でF1スコア0.82を達成し、強力なベースライン性能を示している。
• 厳しい照明（眩しさと過露出）下では、F1スコアが著しく0.13に低下し、動的照明の影響が顕著に現れる。
• 提案された前処理技術により、厳しい照明下でのF1スコアは0.42に向上し、著しく耐障害性が向上した。
• 全照明条件下で非隠蔽果実の87.0%、隠蔽果実の30.0%を検出しており、部分的な隠蔽耐性が確認された。
• 処理時間は1枚あたり平均1.5秒であり、リアルタイムロボットデプロイメントに適している。
• 48枚の学習画像（113個のアノテート済みキウイフルーツ）のみを用いても、先行研究のFaster R-CNNモデル（11,760個のアノテート済み果実で学習）よりも高い精度（0.92）を達成しており、優れたデータ効率性と信頼性を示している。