[논문 리뷰] A Solution to Product detection in Densely Packed Scenes

Tianze Rong, Yanjia Zhu외 2명|arXiv (Cornell University)|2020. 07. 23.

Video Surveillance and Tracking Methods참고 문헌 11인용 수 5

한 줄 요약

이 논문은 SKU-110k 데이터셋에서 58.7% mmAP을 달성하기 위해 수정된 무작위 컷 전략과 최적화된 컨볼루션 신경망을 사용하여 고밀도 장면에서의 제품 검출을 위한 맞춤형 솔루션을 제안한다. 이 접근법은 작은 객체 검출과 높은 객체 밀도 문제를 해결하기 위해 데이터 증강 향상, 샘플러 재가중, NMS 초모수 조정, ResNeXt 및 BFP 네크 등 아키텍처 개선을 통해 구현된다.

ABSTRACT

This work is a solution to densely packed scenes dataset SKU-110k. Our work is modified from Cascade R-CNN. To solve the problem, we proposed a random crop strategy to ensure both the sampling rate and input scale is relatively sufficient as a contrast to the regular random crop. And we adopted some of trick and optimized the hyper-parameters. To grasp the essential feature of the densely packed scenes, we analysis the stages of a detector and investigate the bottleneck which limits the performance. As a result, our method obtains 58.7 mAP on test set of SKU-110k.

연구 동기 및 목표

• 실제 소매 장면에서 발생하는 고밀도의 작은 객체 검출 문제, 예를 들어 SKU-110k 데이터셋에서의 문제를 해결하기 위해.
• MS COCO와 같은 저밀도 데이터셋에 최적화된 표준 객체 검출 파ip라인의 한계를 극복하기 위해.
• 이미지당 최대 759개의 객체가 포함된 장면에서의 검출 성능을 향상시키기 위해 데이터 샘플링, 모델 샘플링, 추론 초모수를 수정함으로써.
• 고밀도 제품 장면에서 COCO 스타일 [0.5:0.95:0.05] 평가 프로토콜에 따른 평균 정밀도(mAP)를 높이기 위해.

제안 방법

• 지정된 7개 영역(네 모서리, 중심, 짧은 축의 두 끝)에서 샘플링하는 수정된 '무작위 일곱 컷' 전략을 도입하여 정답 객체의 커버리지 향상과 바운딩 박스 잘림 감소를 달성하였다.
• RPN과 R-CNN 샘플러를 최적화하여 각각 최대 양성 샘플 수를 512과 3072로 증가시켜, 이미지당 높은 객체 밀도를 효과적으로 처리하였다.
• 직교 설계를 활용한 격자 검색을 통해 NMS 초모수를 조정하고, 최적의 값을 선택: 3000개의 입력/출력 박스, 0.05의 신뢰도 임계값, 양성 샘플에 대한 0.7의 IoU 임계값, 최대 400개의 출력 박자.
• 세 단계로 구성된 컨볼루션 신경망을 사용하여 각 단계에서 바운딩 박스의 IoU 임계값을 (0.5, 0.5–0.6, 0.5–0.6–0.7)로 조정함으로써 정위치 정확도 향상과 임의 경고 감소를 달성하였다.
• ResNet-50 백본을 ResNeXt-101로, FPN 네크를 BFP로 교체하여 특징 표현력과 다중 해상도 특징 통합을 향상시켰다.
• 대규모 입력 크기(최대 3000×1800)와 24 에포크로 연장된 훈련을 통해 소형 객체 검출 성능을 향상시켰으며, 고해상도 입력을 유지하여 객체 세부 정보를 보존하였다.

실험 결과

연구 질문

• RQ1 소매 장면에서 고밀도 객체를 충분하고 대표적인 방식으로 샘플링하기 위해 데이터 증강 전략을 어떻게 개선할 수 있는가?
• RQ2 표준 COCO 설정을 초월해 이미지당 150개 이상의 객체를 처리하기 위해 RPN과 R-CNN 샘플러의 초모수 조정이 어떻게 필요할까?
• RQ3 고밀도 검출 환경에서 높은 겹침과 높은 임의 경고 비율을 고려할 때, NMS 초모수 조정이 mAP에 얼마나 기여할 수 있는가?
• RQ4 다중 IoU 임계값 헤드를 가진 컨볼루션 신경망을 사용할 경우, 고밀도 장면에서 정위치 정확도 향상과 임의 경고 감소에 어떤 기여를 하는가?
• RQ5 ResNeXt와 BFP 네크와 같은 아키텍처 구성 요소가 고밀도 제품 검출 성능에 미치는 영향은 무엇인가?

주요 결과

• ResNet-50와 FPN을 사용한 베이스라인 Faster R-CNN은 50.6% mmAP를 기록하여, SKU-110k에 대해 특화된 최적화의 필요성을 입증하였다.
• NMS 초모수만 최적화하여도 mAP가 52.8%로 향상되어, 추론 설정이 성능에 상당한 영향을 미친다는 점을 보여주었다.
• RPN과 R-CNN 샘플러의 양성 샘플 수를 증가시켜 mAP가 54.0%로 상승하여, 표준 COCO 기반 기본 설정이 고밀도 장면에서는 부족하다는 점을 입증하였다.
• 무작위 일곱 컷 전략을 사용하고, 대용량 입력 크기(3000×1800)와 24 에포크 훈련을 적용하여 57.4% mmAP를 달성하였으며, 표준 무작위 컷과 짧은 훈련보다 뛰어난 성능을 보였다.
• Cascade R-CNN, ResNeXt-101, BFP 네크, 최적화된 초모수를 포함한 전체 파이프라인은 검증 세트에서 58.0% mmAP, 테스트 세트에서 58.7% mmAP를 기록하여 본 연구에서 가장 높은 성능을 달성하였다.
• 최종 모델은 테스트 세트에서 58.7% mmAP를 달성하여, 고밀도 제품 검출에 대해 복합적인 방법의 효과성을 입증하였다.