[論文レビュー] Apple Defect Detection Using Deep Learning Based Object Detection For Better Post Harvest Handling

Paolo Valdez|arXiv (Cornell University)|May 12, 2020

Smart Agriculture and AI被引用数 16

ひとこと要約

本稿では、収穫後の品質管理を向上させるために、リアルタイムでのりんごの欠損検出を目的としたYOLOv3ベースの深層学習モデルを提案する。452枚のりんご画像（健康：226枚、欠損：226枚）から構成される独自データセットで訓練した結果、mAP@0.3IOUが74.7%に達し、マルチスケール特徴抽出とリーマンドブロックのおかげで、SSDを上回る欠損検出性能を示した。これにより、農家によるより高速で正確な選別が可能になる。

ABSTRACT

The inclusion of Computer Vision and Deep Learning technologies in Agriculture aims to increase the harvest quality, and productivity of farmers. During postharvest, the export market and quality evaluation are affected by assorting of fruits and vegetables. In particular, apples are susceptible to a wide range of defects that can occur during harvesting or/and during the post-harvesting period. This paper aims to help farmers with post-harvest handling by exploring if recent computer vision and deep learning methods such as the YOLOv3 (Redmon & Farhadi (2018)) can help in detecting healthy apples from apples with defects.

研究の動機と目的

• 人的に手間がかかり、一貫性に欠ける手作業による収穫後のりんごの選別を自動化し、欠損検出を実現すること。
• 画像分類ではなく、物体検出タスクとしてのYOLOv3のりんご欠損検出における性能を評価すること。
• 正確でリアルタイムの健康および欠損りんごの検出を可能にすることで、生産性の向上と輸出対応の促進を図ること。
• mAPおよびAP指標を用いて、独自のりんご欠損データセット上でYOLOv3とSSDベースの検出器を比較すること。

提案手法

• COOの事前学習済みチェックポイントを用いた転移学習により、独自の452枚のりんご画像（健康：226枚、欠損：226枚）のデータセットでYOLOv3モデルを訓練した。
• 今後の研究で画像対画像変換技術を用いたデータ増強を検討しているが、本研究では実装していない。
• 推論時における重複するボクシングボックス予測をフィルタリングするために、非最大抑制（NMS）を採用した。
• 3つの異なるスケールでの特徴マップを用いたマルチスケール予測により、小さな欠損を検出可能とした。
• スケールアップ接続を備えた残差ブロックを活用し、特徴学習の向上と、小さな病変のような微細な詳細の検出を改善した。
• IOUしきい値（0.3、0.5、0.7）を複数設定し、IOUしきい値によるしきい値評価、精度、再現率、AP、mAPを用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 YOLOv3が物体検出タスクとして適用された場合、SSDを上回ってりんご欠損を検出できるか？
• RQ2 YOLOv3のマルチスケールアーキテクチャは、SSDと比較して小さな欠損の検出をどのように向上させるか？
• RQ3 実世界の収穫後環境において、YOLOv3のアーキテクチャに組み込まれた残差ブロックは、繊細なりんご欠損の検出にどのような影響を与えるか？
• RQ4 IOUしきい値は、深層学習モデルを用いたりんご欠損検出における精度と再現率にどのように影響を与えるか？
• RQ5 COCOから転移学習を適用することで、小規模でドメイン特化されたりんご欠損データセットでの性能はどの程度向上するか？

主な発見

• YOLOv3はmAP@0.3IOUで74.7%を達成し、SSDベースのモデルの69.97% mAP@0.3IOUを大きく上回った。
• 欠損りんご検出において、YOLOv3はAP@0.3IOUで69.09%を達成したのに対し、SSDは59.51%にとどまり、より優れた欠損部位の局在化を示した。
• YOLOv3は、マルチスケール特徴抽出のおかげで小さな病変をより効果的に処理できたため、欠損りんごの検出において高い精度と再現率を示した。
• 健康りんごの検出においてもYOLOv3は80.78% AP@0.3IOUを達成し、SSDの80.42% AP@0.3IOUをわずかに上回った。
• SSDベースのモデルは、特に小さな病変に対してより多くの誤検出（誤検出）を生じさせ、全体のmAPを低下させた。
• YOLOv3アーキテクチャに組み込まれた残差ブロックは、図3の可視化結果によって確認されたように、微細な欠損の検出を向上させた。