[논문 리뷰] Pooling Pyramid Network for Object Detection

Pengchong Jin, Vivek Rathod외 1명|arXiv (Cornell University)|2018. 07. 09.

Advanced Neural Network Applications참고 문헌 6인용 수 15

한 줄 요약

논문은 단일 스샷 객체 검출기인 풀링 피라미드 네트워크(PPN)를 제안한다. 이는 모든 특징 맵 스케일에 걸쳐 단일 박스 예측기를 공유하고, 스케일 간 컨볼루션 대신 최대 풀링을 사용한다. 이 설계는 MobileNet-v1을 사용할 때 COCO에서 모델 크기를 3배 감소시키면서도 유사한 mAP(20.3 vs 20.8)와 추론 속도를 유지하여 스케일 간 점수 오표정 및 데이터 불균형 문제를 효과적으로 완화한다.

ABSTRACT

We'd like to share a simple tweak of Single Shot Multibox Detector (SSD) family of detectors, which is effective in reducing model size while maintaining the same quality. We share box predictors across all scales, and replace convolution between scales with max pooling. This has two advantages over vanilla SSD: (1) it avoids score miscalibration across scales; (2) the shared predictor sees the training data over all scales. Since we reduce the number of predictors to one, and trim all convolutions between them, model size is significantly smaller. We empirically show that these changes do not hurt model quality compared to vanilla SSD.

연구 동기 및 목표

• 불균형한 훈련 데이터 분포로 인한 SSD에서의 스케일 간 점수 오표정 문제를 해결하기 위해.
• 정확도를 저하시키지 않고 SSD의 모델 크기와 파라미터 수를 줄이기 위해.
• 모든 스케일에서의 훈련 예제를 볼 수 있도록 공유 예측기를 통해 데이터 효율성을 향상시키기 위해.
• 지연 민감한 응용 프로그램에 적합한 경량이며 빠른 추론 아키텍처를 설계하기 위해.
• 각 스케일 전용 예측기의 한계를 극복하여 훈련 데이터의 일부분만 볼 수 있는 문제를 해결하기 위해.

제안 방법

• SSD의 스케일 전용 박스 예측기를 모든 특징 맵 스케일에 적용 가능한 단일 공유 예측기로 대체한다.
• 기본 특징 맵에서 시작하여 스트라이드 2의 최대 풀링 연산을 반복적으로 적용하여 다중 스케일 특징 피라미드를 구성한다.
• 공유 예측기와 호환 가능한 공유 임베딩 공간으로 풀링된 특징 맵을 투영하기 위해 1×1 컨볼루션을 사용한다.
• 공유 예측기(1×1 컨볼루션을 사용)를 적용하여 모든 피라미드 수준에서 클래스 점수와 바운딩 박스 오프셋을 생성한다.
• 분류에 대해서는 α=0.25, γ=2로 설정한 포칼 손실을, 회귀에 대해서는 스무스 L1 손실을 사용하며, 이는 SSD와 동일하다.
• TensorFlow Object Detection API에서 표준 SSD와 동일한 설정(예: TPU 훈련 및 GPU 추론 벤치마킹)을 사용해 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 모든 특징 맵 스케일에 걸쳐 공유된 박스 예측기가 객체 크기 간 데이터 불균형으로 인한 점수 오표정을 줄일 수 있는가?
• RQ2 스케일 간 컨볼루션을 최대 풀링으로 대체함으로써 정확도는 유지하면서 모델 크기를 줄일 수 있는가?
• RQ3 모든 스케일 데이터를 기반으로 훈련된 통합 예측기는 스케일 전용 예측기보다 데이터 효율성과 일반화 능력이 향상되는가?
• RQ4 단일 스샷 검출기에서 추론 속도나 mAP를 저하시키지 않고 모델 크기를 얼마나 줄일 수 있는가?
• RQ5 피라미드 기반의 최대 풀링 방법이 표준 SSD 및 FPN 대비 정확도, FLOPs, 파라미터 수 측면에서 성능에 어떤 영향을 미치는가?

주요 결과

• PPN은 COCO에서 mAP 20.3을 기록하여 MobileNet SSD의 20.8과 유사한 검출 정확도를 확보했다.
• PPN의 모델 크기는 2.18M 파라미터로, MobileNet SSD의 6.83M 파라미터보다 3배 감소했다.
• 추론 FLOPs는 2.48B에서 2.35B로 감소했으며, GPU 추론 시간은 26ms(PPN)와 27ms(MobileNet SSD)로 거의 동일했다.
• 공유 예측기는 모든 스케일에서 훈련 데이터를 모두 볼 수 있어 점수 오표정을 줄이고 예측 점수의 일관성을 향상시켰다.
• 최대 풀링은 저비용 계산으로 인해 더 빠른 추론을 가능하게 하며, 스케일 간 파라미터가 많은 컨볼루션을 피한다.
• 모델 크기를 크게 줄였음에도 불구하고 높은 효율성과 정확도를 유지하여 엣지 배포에 적합하다.