[논문 리뷰] Cattle Detection Occlusion Problem

Aparna Mendu, Bhavya Sehgal외 1명|arXiv (Cornell University)|2022. 12. 21.

Food Supply Chain Traceability인용 수 4

한 줄 요약

이 논문은 드론 촬영한 RGB 및 열화상 영상에서 가림되거나 작은 소를 감지하기 위해 가장 효과적인 딥러닝 모델로 YOLOv7을 제안한다. 이는 ResNet50 및 EfficientNet 백본을 사용한 RetinaNet과 Mask R-CNN을 능가한다. 이미지 타일링(2x1 및 3x3)을 통해 소형 객체 감지를 향상시켜 YOLOv7는 61.2%의 최고 정밀도를 기록했으며, 특히 어려운 가림 상황에서도 뛰어난 성능을 보였다.

ABSTRACT

The management of cattle over a huge area is still a challenging problem in the farming sector. With evolution in technology, Unmanned aerial vehicles (UAVs) with consumer level digital cameras are becoming a popular alternative to manual animal censuses for livestock estimation since they are less risky and expensive.This paper evaluated and compared the cutting-edge object detection algorithms, YOLOv7,RetinaNet with ResNet50 backbone, RetinaNet with EfficientNet and mask RCNN. It aims to improve the occlusion problem that is to detect hidden cattle from a huge dataset captured by drones using deep learning algorithms for accurate cattle detection. Experimental results showed YOLOv7 was superior with precision of 0.612 when compared to the other two algorithms. The proposed method proved superior to the usual competing algorithms for cow face detection, especially in very difficult cases.

연구 동기 및 목표

• 대규모 드론 기반 축산 모니터링에서 지속적인 문제로 남아 있는 가림되거나 작은 소 감지 과제를 해결한다.
• 가림 상황에서 소 감지를 위한 최신 기술의 객체 감지 모델—YOLOv7, RetinaNet(ResNet50 및 EfficientNet 백본 포함), Mask R-CNN를 평가하고 비교한다.
• 이미지 타일링 기법(2x1 및 3x3)을 활용해 해상도와 특징 학습을 향상시켜 숨겨지거나 부분적으로 보이지 않는 소의 감지 정확도를 향상시킨다.
• YOLOv7의 확장된 ELAN(Extended-ELAN)과 굵은에서 미세한 레이블 할당 기법이 클래스 불균형을 다루고 복잡한 항공 영상 환경에서의 감지 성능을 향상시키는 데 효과적인지 입증한다.
• 특히 어려운 가림 및 소형 객체 조건에서의 실세계 드론 데이터셋에 대한 소 감지 기준 성능을 설정한다.

제안 방법

• 가림 상황에서의 감지 정확도 향상을 위해 특징 학습과 기울기 흐름을 향상시키기 위해 확장된 ELAN(E-ELAN) 아키텍처를 사용한 YOLOv7를 적용한다.
• 고해상도 드론 영상을 더 작은 패치로 나누어 소형 및 숨겨진 소의 감지를 향상시키기 위해 이미지 타일링(2x1 및 3x3)을 적용한다.
• 전경과 배경 객체 간의 클래스 불균형 문제를 완화하기 위해 포칼 손실을 사용해 ResNet50 및 EfficientNet 백본을 갖춘 RetinaNet을 훈련시켰다.
• 개별 세그먼테이션을 위해 마스크 헤드를 추가한 ResNet50 백본을 사용한 Mask R-CNN를 활용해 픽셀 수준의 객체 경계를 예측함으로써 정확한 국소화를 향상시켰다.
• 다중 출력 감지 헤드의 훈련 최적화와 수렴성 향상을 위해 YOLOv7에 굵은에서 미세한 레이블 할당 기법을 구현했다.
• 다양한 소스의 데이터셋을 활용: 브라질 캔키움 농장에서 확보한 1161장의 드론 촬영 영상(_RGB 및 열화상_). 추가로 하버드 대학교에서 확보한 249장의 RGB 데이터셋.

실험 결과

연구 질문

• RQ1 YOLOv7는 드론 촬영 항공 영상에서 가림된 소를 감지하는 데서 RetinaNet과 Mask R-CNN에 비해 어떻게 비교되는가?
• RQ2 이미지 타일링(2x1 대비 3x3)은 소형 및 숨겨진 소의 감지 성능에 어떤 영향을 미치는가?
• RQ3 EfficientNet을 백본으로 사용한 RetinaNet이 소형 축산 동물 감지에 있어서 ResNet50에 비해 얼마나 효과적인가?
• RQ4 YOLOv7의 E-ELAN 및 레이블 할당 메커니즘은 고가림 상황에서 감지 정확도 향상에 얼마나 효과적인가?
• RQ5 다양한 데이터셋과 타일링 구성 조건에서 소 감지에 대해 가장 높은 정밀도와 재현율을 달성하는 모델은 무엇인가?

주요 결과

• YOLOv7는 2x1 타일링을 사용해 드론 데이터셋에서 61.2%의 최고 정밀도를 기록했으며, 다른 모든 모델을 능가했다.
• ResNet50 백본을 사용한 RetinaNet은 58.3%의 정밀도를 기록했으며, 강력한 성능를 보였지만 YOLOv7의 정확도에 못 미쳤다.
• EfficientNet 백본을 사용한 RetinaNet은 50.4%의 정밀도를 기록해 이 맥락에서 소형 객체 감지에 있어 낮은 효과성을 보였다.
• Mask R-CNN는 드론 데이터셋에선 성능이 열악했지만, 외부 RGB 데이터셋에선 성능 향상이 있었으며, 그 특정 경우에서 다른 모델보다 뛰어난 성능을 보였다.
• 모든 모델에서 2x1 타일링이 3x3 타일링보다 더 나은 감지 결과를 냈으며, 특히 가림된 환경에서 소형 객체 감지에 뚜렷한 향상을 보였다.
• YOLOv7와 2x1 타일링의 조합은 숨겨지거나 부분적으로 보이지 않는 소 감지에 가장 효과적인 것으로 입증되었으며, 이는 모델 아키텍처와 사전처리 전략의 중요성을 강조한다.