[논문 리뷰] Geometry-Aware Video Object Detection for Static Cameras

Dan Xu, Weidi Xie외 1명|arXiv (Cornell University)|2019. 09. 06.

Advanced Neural Network Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 정적 카메라 환경에서 기하학적 인사이트를 활용해 다중 척도 검출 성능을 향상시키기 위해 가짜 깊이 맵을 객체 크기에서 유도한 GAST-Net을 제안한다. 시간적 모델링과 기하학적 지도 기반 특징 융합을 통해 앵커 없는 CornerNet을 비디오로 확장함으로써, GAST-Net은 합성(Carla) 및 실세계(DukeMTMC) 데이터셋에서 기존의 단일 및 이중 단계 검출기보다 최대 6.2 mAP 포인트 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we propose a geometry-aware model for video object detection. Specifically, we consider the setting that cameras can be well approximated as static, e.g. in video surveillance scenarios, and scene pseudo depth maps can therefore be inferred easily from the object scale on the image plane. We make the following contributions: First, we extend the recent anchor-free detector (CornerNet [17]) to video object detections. In order to exploit the spatial-temporal information while maintaining high efficiency, the proposed model accepts video clips as input, and only makes predictions for the starting and the ending frames, i.e. heatmaps of object bounding box corners and the corresponding embeddings for grouping. Second, to tackle the challenge from scale variations in object detection, scene geometry information, e.g. derived depth maps, is explicitly incorporated into deep networks for multi-scale feature selection and for the network prediction. Third, we validate the proposed architectures on an autonomous driving dataset generated from the Carla simulator [5], and on a real dataset for human detection (DukeMTMC dataset [28]). When comparing with the existing competitive single-stage or two-stage detectors, the proposed geometry-aware spatio-temporal network achieves significantly better results.

연구 동기 및 목표

• 정적 카메라 설정에서 장면 기하학을 활용할 수 있는 환경에서 척도 변화와 가림 현상을 다루기 위해.
• 시공간적 의존성을 효율적으로 모델링하여 단일 단계 앵커 없는 검출기(CornerNet)를 비디오로 확장하기 위해.
• 이미지 평면상의 객체 크기에서 유도된 장면 기하학을 딥 네트워크에 통합하여 다중 척도 특징 선택 및 예측을 향상시키기 위해.
• 합성 및 실세계 데이터셋에서 기하학적 사전 지식의 효과성을 검증하기 위해.
• 기하학적 인사이트를 반영한 설계가 표준 검출기 대비 더 높은 검출 정확도를 제공하는지 확인하기 위해.

제안 방법

• 모델은 비디오 클립을 입력으로 받아 첫 번째 및 마지막 프레임에서만 객체 역할 열매 히트맵과 임bedding을 예측하여 계산 비용을 줄이고 장거리 시간적 맥락을 유지한다.
• 시공간 컨볼루션 백본은 프레임 간 외관 및 운동 특징을 인코딩하여 공간적 및 시간적 신호를 함께 모델링한다.
• 기하학적 인사이트 기반 특징 융합이 도입되며, 이는 객체 높이(픽셀 단위)에서 유도된 가짜 깊이 맵이 네트워크 내 다중 척도 특징 선택 및 융합을 지도한다.
• 네트워크는 상단-좌측 및 하단-우측 모서리 예측을 수행하는 코너 기반 검출 헤드를 사용하며, 이후 임베딩 기반 그룹화를 통해 바운딩 박스를 형성한다.
• 가짜 깊이 맵는 알려진 카메라 기하학을 활용해 이미지 평면상의 객체 크기에서 계산되며, 명시적 깊이 센서가 없이도 기하학적 사전 지식을 제공한다.
• 아키텍처는 엔드 투 엔드로 훈련 가능하며, 키포인트 회귀 및 임베딩 대비 학습을 위한 표준 검출 손실 함수로 최적화된다.

실험 결과

연구 질문

• RQ1 정적 카메라에서 유도된 장면 기하학이 다중 척도 비디오 객체 검출에 기여하는가?
• RQ2 기하학적 사전 지식으로서의 가짜 깊이 맵을 통합할 경우 검출 정확도와 척도 변화에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 시공간 모델링을 통해 코너 기반 앵커 없는 검출 프레임워크를 비디오에 효과적으로 확장할 수 있는가?
• RQ4 기하학적 인사이트 기반 특징 융합이 비디오 객체 검출에서 표준 다중 척도 특징 집합과 비교해 우월한 성능을 내는가?
• RQ5 제안된 방법은 실세계 및 합성 벤치마크에서 최신 기술 수준의 단일 및 이중 단계 검출기와 비교해 어떻게 성능을 내는가?

주요 결과

• DukeMTMC 데이터셋에서 ResNet-50 백본을 사용한 GAST-Net은 74.42% mAP를 기록했으며, Faster R-CNN보다 3.74 포인트 높고 Single-Frame CornerNet보다 5.71 포인트 높았다.
• VGG-11 백본을 사용한 GAST-Net은 68.26% mAP를 기록했으며, SSD보다 9.17 포인트 높고 Single-Frame CornerNet보다 6.77 포인트 높았다.
• 기하학적 지도 기반 특징 융합 모듈은 모든 지표에서 성능 향상을 이끌어내어 기하학적 사전 지식이 척도 인식과 검출 정확도를 향상시킨다는 것을 확인했다.
• Carla 합성 데이터셋에서 GAST-Net은 뛰어난 일반화 성능을 보였으며, 복잡한 척도 변화가 있는 자율주행 시나리오에서의 효과성을 검증했다.
• DukeMTMC에서 GAST-Net은 AP75(68.21%)를 기록해 Faster R-CNN(59.64%)보다 높은 국소화 정확도를 확보했으며, 이는 조밀한 모서리 예측 덕분이었다.
• 실패 사례는 극단적인 척도 또는 가림 상황에서 잘못된 모서리 그룹화에 기인해 있어, 향후 개선이 필요한 그룹화 메커니즘이 필요하다는 점을 시사한다.