[논문 리뷰] A Competitive Method to VIPriors Object Detection Challenge

Fei Shen, Xin He외 2명|arXiv (Cornell University)|2021. 04. 19.

Advanced Neural Network Applications참고 문헌 10인용 수 12

한 줄 요약

이 논문은 데이터 증강(박스 좌표 왜곡, 그리드 마스크, 미스업), 글로벌 컨텍스트 인식 ROI 특징 학습, 그리고 모델 앙상블을 위한 가중 상자 융합(WBF)을 사용하여 VIPriors 객체 검출 도전에 경쟁적인 솔루션을 제시한다. 이 방법은 COCO2017 테스트 세트에서 39.4%의 AP@0.50:0.95를 기록하여 기준 모델을 크게 능가하며, 장수분포 데이터 분포와 제한된 훈련 데이터 조건에서도 뛰어난 강건성을 보여준다.

ABSTRACT

In this report, we introduce the technical details of our submission to the VIPriors object detection challenge. Our solution is based on mmdetction of a strong baseline open-source detection toolbox. Firstly, we introduce an effective data augmentation method to address the lack of data problem, which contains bbox-jitter, grid-mask, and mix-up. Secondly, we present a robust region of interest (ROI) extraction method to learn more significant ROI features via embedding global context features. Thirdly, we propose a multi-model integration strategy to refinement the prediction box, which weighted boxes fusion (WBF). Experimental results demonstrate that our approach can significantly improve the average precision (AP) of object detection on the subset of the COCO2017 dataset.

연구 동기 및 목표

• 장수분포 클래스 분포와 제한된 훈련 데이터로 인한 객체 검출의 평균 정밀도(AP) 저하 문제를 해결하기 위해 VIPriors 도전에 대응한다.
• 외부 데이터나 사전 학습 가중치를 사용하지 않고도 모델의 일반화 능력과 강건성을 향상시킨다.
• 각 FPN 단계에서 ROI 특징에 글로벌 컨텍스트를 통합하여 특징 표현을 향상시킨다.
• 가중 상자 융합(WBF)을 통한 다중 모델 앙상블을 통해 검출 성능을 최적화한다.
• 경쟁 제약 조건 하에서 COCO2017 서브셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 박스 좌표 왜곡(bbox-jitter)을 적용하여 훈련 샘플의 난이도를 높이기 위해 0.95–1.05 범위 내에서 경계 상자 좌표를 무작위로 변형한다.
• 그리드 마스크를 사용하여 입력 이미지의 균일하게 분포된 영역을 제거하여, 가림 및 공간 불변성에 대한 강건성을 향상시킨다.
• 두 이미지와 그에 해당하는 레이블을 선형으로 조합하여 미스업 증강을 구현함으로써 훈련 세트의 다양성을 증가시킨다.
• 전체 이미지 특징 맵에서 추출한 글로벌 컨텍스트 특징을 각 FPN 단계의 모든 ROI 특징에 통합하여 의미 이해를 향상시킨다.
• 다른 백본(Res2Net-152, SeNet-154, ResNeSt-152)을 가진 세 개의 Cascade-RCNN 모델 예측을 융합하기 위해 가중 상자 융합(WBF)을 활용하여 국소화 및 분류 정확도를 향상시킨다.
• 저자원 클래스를 위해 무작위 자르기 및 반전을 통한 카테고리별 데이터 증강과 함께 그룹 정규화, 스위처블 아트로우스 컨volution(SAC)를 사용하여 훈련을 최적화한다.

실험 결과

연구 질문

• RQ1 외부 데이터 없이 bbox-jitter, 그리드 마스크, 미스업 등의 데이터 증강 기법이 소규모이고 장수분포를 가진 객체 검출 데이터셋에서 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 ROI 특징에 글로벌 컨텍스트 특징을 통합할 경우, 이중 검출기에서 특징 표현과 검출 정확도 향상에 어느 정도 기여하는가?
• RQ3 다중 모델 앙상블에서 예측을 정밀하게 다듬는 데 있어, 비최대 억제(NMS)에 비해 가중 상자 융합(WBF)은 얼마나 효과적인가?
• RQ4 배치 정규화를 그룹 정규화로 대체하고 스위처블 아트로우스 컨볼루션을 추가하면, 사전 학습 가중치 없이 학습을 시작할 때 모델 수렴과 성능 향상에 기여하는가?
• RQ5 아키텍처 개선과 데이터 증강 전략의 조합이 사전 학습 가중치 없이도 VIPriors 도전에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• 기준 Cascade-RCNN(Res2Net-152)는 검증 세트에서 32.5%의 AP@0.50:0.95를 기록하였고, 모든 제안된 방법을 적용한 후 36.9%로 향상되었다.
• 박스 좌표 왜곡, 그리드 마스크, 미스업을 각각 추가함으로써 AP@0.50:0.95는 각각 0.8%, 2.1%, 2.4% 향상되어 그 효과를 입증하였다.
• ROI 특징에 글로벌 컨텍스트 특징을 통합함으로써 기준 대비 AP@0.50:0.95가 4.4% 향상되었으며, 이는 의미적 컨텍스트를 포착하는 데서의 기여를 보여준다.
• WBF를 사용한 다중 모델 앙상블은 테스트 세트에서 39.4%의 AP@0.50:0.95를 기록하여 모든 경쟁 방법을 능가하였다.
• 그룹 정규화와 스위처블 아트로우스 컨볼루션의 사용은 훈련을 더욱 안정화시키고, 특히 저빈도 카테고리에서 성능 향상에 기여하였다.
• 최종 모델은 테스트 세트에서 56.3%의 AP@0.50과 42.7%의 AP@0.75를 달성하여 강력한 일반화 능력과 국소화 정확도를 보여주었다.