[논문 리뷰] CaTDet: Cascaded Tracked Detector for Efficient Object Detection from Video

Huizi Mao, Taeyoung Kong외 1명|arXiv (Cornell University)|2018. 09. 30.

Advanced Neural Network Applications참고 문헌 6인용 수 15

한 줄 요약

CaTDet는 영상에서 시간적 상관관계를 활용하여 KITTI에서 5.1–8.7배, CityPersons에서 13.0배의 계산 비용을 감소시키는 계단식으로 구성된 트래커 보강형 객체 검출 시스템이며, near-identical mAP 유지를 유지하면서 추가로 0.3 프레임의 지연만 유발한다. 실시간 응용 프로그램에 특화된 새로운 지연 메트릭(mD)을 도입한다.

ABSTRACT

Detecting objects in a video is a compute-intensive task. In this paper we propose CaTDet, a system to speedup object detection by leveraging the temporal correlation in video. CaTDet consists of two DNN models that form a cascaded detector, and an additional tracker to predict regions of interests based on historic detections. We also propose a new metric, mean Delay(mD), which is designed for latency-critical video applications. Experiments on the KITTI dataset show that CaTDet reduces operation count by 5.1-8.7x with the same mean Average Precision(mAP) as the single-model Faster R-CNN detector and incurs additional delay of 0.3 frame. On CityPersons dataset, CaTDet achieves 13.0x reduction in operations with 0.8% mAP loss.

연구 동기 및 목표

• 자율주행과 같은 응용 분야에서 실시간 영상 객체 검출의 높은 계산 비용을 해결한다.
• 영상 내 시간적 및 공간적 국소성을 활용하여 프레임 간 중복 계산을 줄인다.
• 지연이 중요한 응용 프로그램에서 높은 검출 정확도를 유지하면서 지연을 최소화하는 시스템을 설계한다.
• 실시간 시스템에서의 실제 성능을 더 잘 반영하기 위해 새로운 평가 메트릭인 평균 지연(mD)을 도입한다.

제안 방법

• 경량 제안 네트워크와 고정확도 리파인먼트 네트워크를 갖춘 계단식 검출 파이프라인을 구현한다.
• 이전 검출 결과를 활용해 향후 프레임의 관심 영역(RoI)을 예측하는 트래커를 통합한다.
• 트래커의 출력을 활용해 리파인먼트 네트워크의 입력을 제약하여 고비용 추론이 필요한 영역 수를 줄인다.
• 제안 네트워크의 출력에 임계값(C-thresh)을 적용하여 검출 민감도와 계산 부담 간의 균형을 맞춘다.
• 이중 단계 학습 파이프라인을 사용해 시스템을 최적화한다: 먼저 제안 및 리파인먼트 네트워크를 사전 학습하고, 이후 계단식 시스템을 미세 조정한다.
• 정확도와 지연의 상호 관계를 평가하기 위해 mAP와 제안된 mD 메트릭을 모두 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 영상 내 시간적 상관관계를 효과적으로 활용하여 정확도를 훼손하지 않고 계산량을 줄일 수 있는가?
• RQ2 계단식 검출 시스템에 트래커를 통합할 경우 검출 지연과 mAP에 어떤 영향을 미치는가?
• RQ3 제안된 평균 지연(mD) 메트릭이 실시간 영상 검출에서 재현율과 정밀도와 얼마나 관련이 있는가?
• RQ4 KITTI 및 CityPersons와 같이 해상도와 애너테이션 밀도가 다른 데이터셋에서 시스템의 성능은 어떠한가?
• RQ5 트래커를 제거할 경우 시스템 성능, 특히 mAP와 지연 측면에서 어떤 영향을 미치는가?

주요 결과

• KITTI 데이터셋에서 CaTDet는 연산 횟수를 5.1–8.7배 감소시키며 mAP에 변화가 없고, 추가 지연은 0.3 프레임 뿐이다.
• CityPersons 데이터셋에서 CaTDet는 연산량을 13.0배 감소시키며 mAP는 0.8% 감소에 그친다.
• 트래커가 없는 계단식 시스템은 CaTDet보다 유의미하게 열등한 성능을 보이며, 특히 CityPersons에서 트래커를 제거하면 mAP가 5% 이상 떨어진다.
• 평균 지연(mD) 메트릭은 재현율과 강한 상관관계를 보이지만, 다른 방식으로 행동함을 확인하여 실시간 시스템에서 전용 지연 인식 평가가 필요함을 시사한다.
• 시스템은 제안 네트워크와 C-thresh의 선택에 민감하며, 높은 임계값은 처리되는 제안 수가 줄어들어 지연을 증가시킨다.
• 시각화 결과에서 소형 객체(예: 보행자)는 지연에 더 민감한 것으로 확인되었으며, 초기 프레임에서 검출이 어려워 놓칠 가능성이 높다.