[論文レビュー] Cattle Detection Occlusion Problem

Aparna Mendu, Bhavya Sehgal+1 more|arXiv (Cornell University)|Dec 21, 2022

Food Supply Chain Traceability被引用数 4

ひとこと要約

本論文では、ドローンが撮影したRGBおよび赤外画像における隠蔽されたり小さな家畜の検出に最も効果的な深層学習モデルとしてYOLOv7を提案する。YOLOv7は、ResNet50およびEfficientNetバックボーンを搭載したRetinaNetやMask R-CNNを上回る性能を示した。小規模な物体検出を向上させるために画像タイリング（2x1および3x3）を用い、YOLOv7は61.2%の最高精度を達成し、困難な隠蔽状況下でも優れた性能を示した。

ABSTRACT

The management of cattle over a huge area is still a challenging problem in the farming sector. With evolution in technology, Unmanned aerial vehicles (UAVs) with consumer level digital cameras are becoming a popular alternative to manual animal censuses for livestock estimation since they are less risky and expensive.This paper evaluated and compared the cutting-edge object detection algorithms, YOLOv7,RetinaNet with ResNet50 backbone, RetinaNet with EfficientNet and mask RCNN. It aims to improve the occlusion problem that is to detect hidden cattle from a huge dataset captured by drones using deep learning algorithms for accurate cattle detection. Experimental results showed YOLOv7 was superior with precision of 0.612 when compared to the other two algorithms. The proposed method proved superior to the usual competing algorithms for cow face detection, especially in very difficult cases.

研究の動機と目的

• 大規模なドローンベースの家畜モニタリングにおいて、常に発生する隠蔽されたり小さな家畜の検出という課題に取り組む。
• YOLOv7、RetinaNet（ResNet50およびEfficientNetバックボーンを搭載）およびMask R-CNNといった最先端の物体検出モデルを、隠蔽状況下での家畜検出において評価・比較する。
• 画像タイリング技術（2x1および3x3）を用いて、隠れたり部分的に見えない家畜の検出精度を向上させ、解像度と特徴学習を強化する。
• YOLOv7の拡張型-ELAN（E-ELAN）および粗いから細かいラベル割り当ての有効性を示し、クラス不均衡の処理と複雑な空中シーンにおける検出性能の向上を実証する。
• 特に困難な隠蔽状況および小規模な物体条件下での実世界のドローンデータセットにおける家畜検出のベンチマークを確立する。

提案手法

• 隠蔽状況下での検出精度の向上を図るため、特徴学習と勾配伝播を強化する拡張型-ELAN（E-ELAN）アーキテクチャを搭載したYOLOv7を採用した。
• 高解像度のドローン画像をより小さなパッチに分割する画像タイリング（2x1および3x3）を適用し、小規模および隠れた家畜の検出を改善した。
• 前景オブジェクトと背景オブジェクトのクラス不均衡を軽減するため、ファーカルロスを用いてResNet50およびEfficientNetバックボーンを搭載したRetinaNetを訓練した。
• インスタンスセグメンテーションを実行するため、ResNet50バックボーンを搭載したMask R-CNNを用い、マスクヘッドを追加してピクセル単位のオブジェクト境界を予測した。
• 複数出力の検出ヘッドのトレーニング最適化と収束性の向上を図るため、YOLOv7に粗いから細かいラベル割り当てを実装した。
• 複数のデータソースを統合したデータセットを用いた：ブラジルのカンチム農場から取得した1161枚のドローン撮影画像（RGBおよび赤外）と、ハーバード大学から提供された追加の249枚のRGBデータセット。

実験結果

リサーチクエスチョン

• RQ1 YOLOv7は、ドローンが撮影した空中画像における隠蔽家畜の検出において、RetinaNetおよびMask R-CNNと比較してどのように優れているか？
• RQ2 画像タイリング（2x1対3x3）は、小規模および隠れた家畜の検出性能にどのような影響を与えるか？
• RQ3 EfficientNetをバックボーンとして用いることで、RetinaNetにおける小規模な家畜オブジェクトの検出効果は、ResNet50と比較して顕著に向上するか？
• RQ4 YOLOv7のE-ELANおよびラベル割り当てメカニズムは、高隠蔽状況下での検出精度の向上に効果を発揮するか？
• RQ5 多様なデータセットおよびタイリング設定下で、どのモデルが家畜検出において最高の精度と再現率を達成するか？

主な発見

• YOLOv7は2x1タイリングを用いたドローンデータセットで61.2%の最高精度を達成し、他のすべてのモデルを上回った。
• ResNet50バックボーンを搭載したRetinaNetは58.3%の精度を達成し、優れた性能を示したが、YOLOv7の精度には及ばなかった。
• EfficientNetバックボーンを搭載したRetinaNetは50.4%の精度を達成し、この文脈下では小規模な物体検出に対して低い効果を示した。
• Mask R-CNNはドローンデータセットでは低い性能を示したが、外部のRGBデータセットではより良い結果を示し、その特定の状況下で他のモデルを上回った。
• 2x1タイリングは、すべてのモデルにおいて3x3タイリングよりも優れた検出結果をもたらし、特に隠蔽状況下での小規模な物体検出を顕著に向上させた。
• YOLOv7と2x1タイリングの組み合わせが、隠れたり部分的に見えない家畜の検出において最も効果的であった。これは、モデルアーキテクチャと前処理戦略の両方の重要性を示している。