[논문 리뷰] The 1st Tiny Object Detection Challenge:Methods and Results

Xuehui Yu, Zhenjun Han외 23명|arXiv (Cornell University)|2020. 09. 16.

Advanced Neural Network Applications참고 문헌 19인용 수 6

한 줄 요약

이 논문은 실세계 영상에서 소형 인물 검출을 위한 첫 번째 티니 오브젝트 디텍션(TOD) 챌린지를 제안하며, 1610장의 이미지와 72,651개의 애너테이션을 포함한 티니퍼스널(TinyPerson) 데이터셋을 소개한다. 이 챌린지는 AP 및 MR 지표를 사용해 36개의 글로벌 팀을 평가하였으며, IOU 및 IOD 기준을 활용해 무시 영역을 정의하였다. 최고의 성능를 기록한 팀은 다중 척도 훈련, 변형 가능 컨볼루션, 모델 앙상블 기법을 활용하여 AP50@tiny 72.33을 달성하였다.

ABSTRACT

The 1st Tiny Object Detection (TOD) Challenge aims to encourage research in developing novel and accurate methods for tiny object detection in images which have wide views, with a current focus on tiny person detection. The TinyPerson dataset was used for the TOD Challenge and is publicly released. It has 1610 images and 72651 box-levelannotations. Around 36 participating teams from the globe competed inthe 1st TOD Challenge. In this paper, we provide a brief summary of the1st TOD Challenge including brief introductions to the top three methods.The submission leaderboard will be reopened for researchers that areinterested in the TOD challenge. The benchmark dataset and other information can be found at: https://github.com/ucas-vg/TinyBenchmark.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 소형 오브젝트 검출을 위한 전용 데이터셋과 벤치마크의 부족을 보완하기 위해.
• 특히 광시야각 이미지에서 소형 오브젝트를 정확하게 검출할 수 있는 새로운 기법에 대한 연구를 촉진하기 위해.
• 극도로 작은 오브젝트 크기, 높은 배경 혼잡도, 다양한 자세 및 시점 변화와 같은 실세계 도전 과제에 집중하기 위해.
• 무시 영역에 대해 IOU 및 IOD(검출 삽입) 기준을 활용한 표준화된 평가 프로토콜을 수립하기 위해.
• 더 넓은 오브젝트 검출 연구 및 실세계 적용에 기여할 수 있는 소형 오브젝트 검출 기술의 발전을 촉진하기 위해.

제안 방법

• MS COCO에서 미리 훈련된 ResNet-50, FPN, DCNv2를 활용한 Faster R-CNN을 베이스라인 모델로 채택하였다.
• ResNet-50의 스테이지 3~5에 변형 가능 컨볼루션을 적용하고, 각 FPN 컨볼루션 레이어 이후 배치 정규화를 사용하였다.
• ResNet 대신 ResNet-vd를 사용하여 성능을 향상시키고, Res2Net-50를 도입함으로써 ResNet-50-vd 대비 3% 향상된 성능을 달성하였다.
• 고정된 긴 변을 유지하면서 짧은 변을 832에서 1500(패들디텍션) 또는 480에서 960(MMDetection) 사이에서 무작위로 샘플링하는 다중 척도 훈련을 구현하였다.
• 랜덤 수평 플립, 자르기, 확장, CutMix 등의 데이터 증강 기법을 적용하였으며, 선택된 카테고리만 포함한 VisDrone 데이터도 추가로 활용하였다.
• 1280×960 및 1024×768 해상도에서 대규모 테스트를 실시하고, 신뢰도가 0.5 이하인 예측은 무시하는 이중 임계값 테스트 및 가중치 상자 융합(IoU=0.6)을 통해 모델 앙상블을 수행하였다.

실험 결과

연구 질문

• RQ1 광시야각 이미지에서 높은 배경 혼잡도를 가진 소형 오브젝트를 검출할 때의 주요 기술적 과제는 무엇인가?
• RQ2 다양한 백본 아키텍처(예: ResNet, HRNet, Res2Net)가 소형 오브젝트 검출 성능에 미치는 영향은 어떠한가?
• RQ3 다중 척도 훈련과 데이터 증강 기법이 소형 오브젝트 검출 정확도 향상에 얼마나 기여하는가?
• RQ4 고정 임계값 방법(예: ATSS)에 비해, IOU 기반의 Top-k 기반 적응형 샘플링 전략이 소형 오브젝트의 양호한 제안 영역 생성에 얼마나 효과적인가?
• RQ5 다양한 백본과 테스트 전략을 활용한 모델 앙상블는 소형 오브젝트 검출 벤치마크에서 성능 향상에 상당한 기여를 할 수 있는가?

주요 결과

• 우수한 성능를 기록한 Baidu-PPDet 팀은 티니퍼스널 데이터셋에서 AP50@tiny 72.33을 달성하여 최신 기술 수준의 성능를 입증하였다.
• 팀 STY-402는 12~20 픽셀 크기의 더 큰 소형 오브젝트에 대해 80.23 AP50@tiny3를 기록하였으며, 중간 크기의 소형 오브젝트에 대해서는 76.06 AP50@tiny2를 달성하였다.
• 26w×4s로 구성된 Res2Net-50를 사용함으로써 ResNet-50-vd 대비 3% 향상된 성능를 기록하였으며, 이는 다중 척도 특징 학습의 유용성을 입증한다.
• 다중 척도 훈련 및 대규모 테스트는 크기와 자세의 변동성이 높은 소형 오브젝트 검출 정확도 향상에 크게 기여하였다.
• 다양한 백본과 가중치 상자 융합(IoU=0.6)을 활용한 7개 모델 앙상블는 모든 팀에서 일관된 성능 향상을 이끌어내었다.
• 무시 영역에 대한 IOD 지표는 큰 배경 영역에서 유도되는 오분류를 효과적으로 줄여, 농도 높은 시나리오에서 평가의 강건성을 향상시켰다.