[논문 리뷰] Towards Resolving the Challenge of Long-tail Distribution in UAV Images for Object Detection

Weiping Yu, Taojiannan Yang외 1명|arXiv (Cornell University)|2020. 11. 07.

Advanced Neural Network Applications참고 문헌 34인용 수 5

한 줄 요약

이 논문은 UAV 영상에 대한 객체 검출 프레임워크인 DSHNet을 제안하며, 클래스-편향 샘플러(CBS)와 이중 박스 헤드(BBH)를 도입하여 장긴 꼬리 클래스 분포 문제를 해결한다. CBS는 희귀 클래스를 우선시하기 위해 객체 제안을 재샘플링하며, BBH는 클래스 편향 제안을 기반으로 훈련된 이중 분류기로 검출 성능을 향상시킨다. DSHNet은 VisDrone에서 mAP 24.6, UAVDT에서 mAP 26.2를 달성하여 추론 지연 시간을 증가시키지 않으면서도 꼬리 클래스 성능을 크게 향상시켰다.

ABSTRACT

Existing methods for object detection in UAV images ignored an important challenge - imbalanced class distribution in UAV images - which leads to poor performance on tail classes. We systematically investigate existing solutions to long-tail problems and unveil that re-balancing methods that are effective on natural image datasets cannot be trivially applied to UAV datasets. To this end, we rethink long-tailed object detection in UAV images and propose the Dual Sampler and Head detection Network (DSHNet), which is the first work that aims to resolve long-tail distribution in UAV images. The key components in DSHNet include Class-Biased Samplers (CBS) and Bilateral Box Heads (BBH), which are developed to cope with tail classes and head classes in a dual-path manner. Without bells and whistles, DSHNet significantly boosts the performance of tail classes on different detection frameworks. Moreover, DSHNet significantly outperforms base detectors and generic approaches for long-tail problems on VisDrone and UAVDT datasets. It achieves new state-of-the-art performance when combining with image cropping methods. Code is available at https://github.com/we1pingyu/DSHNet

연구 동기 및 목표

• UAV 객체 검출에서 헤드 클래스(예: 자동차, 사람)가 지배하고 꼬리 클래스(예: awn., 삼륜차)가 심각하게 부족한 장긴 꼬리 분포 문제를 해결하기 위해.
• 낮은 배치 크기와 고해상도 이미지에서 밀집된 헤드 클래스 객체로 인해 자연 이미지 데이터셋에서 성공한 기존 장긴 꼬리 해결 기법이 UAV 데이터에서 실패하는 이유를 규명하기 위해.
• 기존 데이터 분포를 왜곡하거나 아키텍처의 대대적인 수정 없이 꼬리 클래스 성능을 향상시키는 검출 프레임워크를 설계하기 위해.
• 헤드 클래스와 꼬리 클래스를 별도로 최적화하는 이중 경로 학습이 더 나은 일반화와 성능을 이끌어내는지 검증하기 위해.

제안 방법

• 꼬리 클래스 객체를 우선시하기 위해 훈련 중에 객체 제안을 재샘플링하는 클래스-편향 샘플러(CBS)를 도입한다. 이는 희귀 클래스의 충분한 표현을 보장한다.
• 두 개의 별도 분류기로 구성된 이중 박스 헤드(BBH)를 활용한다: BBH(T)는 꼬리 클래스 제안을 위해, BBH(H)는 헤드 클래스 제안을 위해 사용되며, 이는 클래스 편향 샘플에서 훈련된다.
• BBH에서 클래스별 손실 재가중을 적용한다. 헤드 클래스와 꼬리 클래스에 대해 별도의 손실을 계산하고, 기여도를 조절하기 위해 하이퍼파라미터 λ를 사용한다.
• 이중 단계 훈련 전략을 적용한다: CBS가 클래스 편향 제안을 생성하고, 이를 BBH가 처리하여 예측을 생성하며, 추론 시 NMS를 통해 예측을 융합한다.
• 이미지 자르기 기법과의 호환성을 확보하기 위해 자르기 패치에서 훈련함으로써, 최신 패치 생성 기법(예: DMNet)과 조합했을 때 성능 향상을 이룬다.
• 계산 오버헤드를 최소화하여 추론 효율성을 유지하며, 기본 검출기 대비 약간의 FPS 감소만을 보인다.

실험 결과

연구 질문

• RQ1 기존의 장긴 꼬리 재균형 기법은 자연 이미지 데이터셋에서는 성공했지만 UAV 데이터셋에서는 왜 실패하는가?
• RQ2 헤드 클래스와 꼬리 클래스 제안을 별도로 처리하는 이중 경로 검출 프레임워크가 장긴 꼬리 UAV 데이터셋에서 성능 향상에 기여하는가?
• RQ3 클래스 편향 샘플링과 이중 헤드 분류가 기존 재균형 기법보다 꼬리 클래스 mAP와 전체 mAP 측면에서 우월한가?
• RQ4 이러한 방법이 UAV 객체 검출에서 이미지 자르기 기법과 조합했을 때 성능 향상에 어느 정도 기여하는가?

주요 결과

• VisDrone 데이터셋에서 DSHNet은 평균 정밀도(mAP) 24.6을 달성하였으며, 기반 Faster R-CNN 모델(21.7)과 최신 기술 수준의 베이스라인보다 뚜렷한 향상을 보였다.
• UAVDT 데이터셋에서 DSHNet은 mAP 26.2를 기록하였으며, 기반 Cascade R-CNN(23.2)과 기존 장긴 꼬리 기법들을 모두 능가하였다.
• 제거 분석 결과 CBS는 기반 모델 대비 2.9 mAP 포인트 향상 기여했고, BBH는 추가로 2.9 mAP 포인트 기여함으로써 두 구성 요소의 효과를 입증하였다.
• DMNet 기반 이미지 자르기와 조합했을 때, DSHNet은 전체 mAP를 2.2 포인트 향상시켰다(28.1에서 30.3으로), 데이터 증강과의 호환성과 상호보완성을 보였다.
• BBH에서 손실 재가중에 최적의 λ 값은 2.0이며, λ > 4.0일 경우 성능 저하가 발생함으로써 클래스 불균형 가중치에 민감함을 확인하였다.
• 추론 속도는 최소한의 영향을 받았으며, DSHNet은 Faster R-CNN 기반 모델에서 15.7 FPS로 작동하였고, 기본 성능(20.1 FPS) 대비 약간의 감소만을 보였다. 이는 실시간 UAV 응용 분야에서의 실용성을 확인한다.