[논문 리뷰] RFLA: Gaussian Receptive Field based Label Assignment for Tiny Object Detection

Chang Xu, Jinwang Wang외 4명|arXiv (Cornell University)|2022. 08. 18.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 소형 객체 검출을 위한 가우시안 수용장역할 기반 레이블 할당 방법인 RFLA를 제안한다. 기존의 앵커 또는 포인트 사전을 가우시안 분포를 띠는 수용장역할 사전으로 대체함으로써, 특성의 수용장역할과 진짜 박스 간의 유사도를 측정하기 위해 수용장역할 거리(RFD)를 도입하고, 계층적 레이블 할당(HLA) 전략을 사용함으로써 균형 잡힌 학습을 달성하고 검출 정확도를 향상시킨다. 이로 인해 AI-TOD 데이터셋에서 최신 기술보다 4.0 AP 포인트 향상된 성능을 기록한다.

ABSTRACT

Detecting tiny objects is one of the main obstacles hindering the development of object detection. The performance of generic object detectors tends to drastically deteriorate on tiny object detection tasks. In this paper, we point out that either box prior in the anchor-based detector or point prior in the anchor-free detector is sub-optimal for tiny objects. Our key observation is that the current anchor-based or anchor-free label assignment paradigms will incur many outlier tiny-sized ground truth samples, leading to detectors imposing less focus on the tiny objects. To this end, we propose a Gaussian Receptive Field based Label Assignment (RFLA) strategy for tiny object detection. Specifically, RFLA first utilizes the prior information that the feature receptive field follows Gaussian distribution. Then, instead of assigning samples with IoU or center sampling strategy, a new Receptive Field Distance (RFD) is proposed to directly measure the similarity between the Gaussian receptive field and ground truth. Considering that the IoU-threshold based and center sampling strategy are skewed to large objects, we further design a Hierarchical Label Assignment (HLA) module based on RFD to achieve balanced learning for tiny objects. Extensive experiments on four datasets demonstrate the effectiveness of the proposed methods. Especially, our approach outperforms the state-of-the-art competitors with 4.0 AP points on the AI-TOD dataset. Codes are available at https://github.com/Chasel-Tsui/mmdet-rfla

연구 동기 및 목표

• 일반적인 객체 검출기의 소형 객체에 대한 성능 부족 문제를 해결하기 위해.
• 박스 및 포인트 사전이 크기-샘플 불균형을 야기하고 소형 객체에 대해 부족한 양성 샘플을 유도함을 규명하기 위해.
• 특성의 진짜 효과적 수용장역할에 더 잘 부합하는 가우시안 분포를 띠는 수용장역할 기반의 새로운 레이블 할당 전략을 제안하기 위해.
• IoU 또는 중심성 기반 측정 대신 더 정확한 유사도 측정을 위해 수용장역할 거리(RFD) 메트릭을 설계하기 위해.
• RFD 기반 샘플링을 통한 계층적 레이블 할당(HLA) 모듈을 통해 다양한 객체 크기 간 균형 잡힌 학습을 달성하기 위해.

제안 방법

• 특성 포인트의 효과적 수용장역할(ERF)을 가우시안 분포로 모델링하여 그 실제 공간 민감도를 반영한다.
• IoU 또는 중심 샘플링 대체를 위해 가우시안 ERF와 진짜 박스 간의 유사도를 측정하는 새로운 유사도 메트릭인 수용장역할 거리(RFD)를 도입한다.
• RFD는 가우시안 ERF와 진짜 박스 간의 겹침과 공간 정렬을 기반으로 계산되며, IoU가 0일 경우에도 더 정확한 할당이 가능하게 한다.
• RFD 기반 샘플링을 통해 소형 객체를 우선순위로 삼는 계층적 레이블 할당(HLA) 모듈을 설계하여 다양한 객체 크기 간 학습 균형을 맞춘다.
• 아키텍처 변경 없이 앵커 기반(Faster R-CNN 등) 및 앵커리스(FCOS 등) 검출기 모두에 통합한다.
• 네 가지 데이터셋(AI-TOD, VisDrone2019, DOTA-v2.0, TinyPerson)에서 평가되었으며, 모든 데이터셋에서 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 왜 앵커 기반 및 앵커리스 검출기는 소형 객체를 효과적으로 검출하지 못하는가?
• RQ2 균일한 사전 분포와 가우시안 형태의 효과적 수용장역할 간의 불일치가 레이블 할당에 어떤 영향을 미치는가?
• RQ3 가우시안 수용장역할 기반의 새로운 유사도 메트릭이 소형 객체의 양성 샘플 할당을 향상시킬 수 있는가?
• RQ4 수용장역할 거리 기반의 계층적 레이블 할당 전략이 다양한 객체 크기 간 균형 잡힌 학습을 이끌 수 있는가?
• RQ5 제안된 RFLA 방법은 크기 변동성이 크고 소형 객체가 많은 다양한 데이터셋에 일반화 가능한가?

주요 결과

• AI-TOD 데이터셋에서 RFLA는 최신 기술보다 4.0 AP 포인트 향상되어 50.1 AP와 69.9 AP50를 기록했다.
• VisDrone2019에서 RFLA는 Faster R-CNN에 적용되었을 때 AP_{vt}를 4.7 포인트 향상시키고 AP_t를 5.5 포인트 향상시켰다.
• DOTA-v2.0에서 RFLA는 DetectoRS에 적용되었을 때 AP_{vt}를 2.1 포인트 향상시키고 AP_t를 3.8 포인트 향상시켜 대규모 및 다양한 데이터셋에서도 일관된 성능 향상을 보였다.
• TinyPerson에서 RFLA는 FCOS에 적용되었을 때 AP_{50}^{tiny}를 3.1 포인트 향상시키고, Faster R-CNN에 적용되었을 때 1.4 포인트 향상시켜 전용 소형 객체 벤치마크에서의 효과를 확인했다.
• AI-TOD에서의 시각화 결과는 잠재적 오진 감소를 확인했으며, 이는 소형 객체 검출 향상의 효과를 뒷받침한다.
• 제거 분석 결과 RFLA가 크기-샘플 불균형을 감소시키고, IoU 또는 중심 기반 방법에 비해 다양한 객체 크기 간에 더 균형 잡힌 양성 샘플 할당을 가능하게 한다고 확인했다.