[논문 리뷰] Vehicle Re-ID for Surround-view Camera System

Zizhang Wu, Man Wang외 4명|arXiv (Cornell University)|2020. 06. 30.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 4

한 줄 요약

이 논문은 피셔아이 와이드 렌즈 카메라 시스템을 위한 완전한 차량 재식별(Re-ID) 솔루션을 제안하며, 피셔아이 왜곡, 가림, 시점 변화 등의 과제를 다룹니다. 추적 오차를 줄이기 위해 품질 평가 메커니즘을 도입하고, 주의 기반 특징 학습을 통한 공간 제약 전략을 적용하여 새로 공개된 대규모 피셔아이 Re-ID 데이터셋에서 실시간으로 최신 기술 수준의 정확도를 달성합니다.

ABSTRACT

The vehicle re-identification (ReID) plays a critical role in the perception system of autonomous driving, which attracts more and more attention in recent years. However, to our best knowledge, there is no existing complete solution for the surround-view system mounted on the vehicle. In this paper, we argue two main challenges in above scenario: i) In single camera view, it is difficult to recognize the same vehicle from the past image frames due to the fisheye distortion, occlusion, truncation, etc. ii) In multi-camera view, the appearance of the same vehicle varies greatly from different camera's viewpoints. Thus, we present an integral vehicle Re-ID solution to address these problems. Specifically, we propose a novel quality evaluation mechanism to balance the effect of tracking box's drift and target's consistency. Besides, we take advantage of the Re-ID network based on attention mechanism, then combined with a spatial constraint strategy to further boost the performance between different cameras. The experiments demonstrate that our solution achieves state-of-the-art accuracy while being real-time in practice. Besides, we will release the code and annotated fisheye dataset for the benefit of community.

연구 동기 및 목표

• 자율주행에서 서라운드 뷰 다중 카메라 시스템에 대한 완전한 Re-ID 솔루션 부족 문제를 해결하기 위해.
• 단일 카메라 뷰에서 피셔아이 왜곡, 가림, 잘림으로 인한 추적 오차를 완화하기 위해.
• 시점 차이와 차량 유사성으로 인한 카메라 간 외관 변화를 줄이기 위해.
• 다중 카메라 환경에서 주의 메커니즘과 공간 제약을 통해 Re-ID 정확도를 향상시키기 위해.
• 이 분야의 연구를 촉진하기 위해 대규모 애너테이션 처리된 피셔아이 데이터셋을 공개하기 위해.

제안 방법

• IoU 및 신뢰도 점수를 사용하여 바운딩 박스 신뢰도를 평가하는 품질 평가 메커니즘이 설계되어 단일 카메라 추적에서 대상 이동을 줄입니다.
• 단일 카메라 Re-ID에는 SiamRPN++를, 다중 카메라 Re-ID에는 BDBnet을 사용하며, 분류 가능한 차량 영역에 집중하기 위해 주의 모듈을 통합합니다.
• 기하학적 일관성을 강제하여 여러 카메라 간 Re-ID 결과를 정규화하는 새로운 공간 제약 전략을 도입합니다.
• IoU 및 신뢰도 지표를 사용한 템플릿 업데이트 전략을 통해 시간이 지남에 따라 추적 안정성을 향상시킵니다.
• 가림된 차량은 최대 N 프레임 동안 템플릿 업데이트를 연기하며, 일관성 유지에 가장 적합한 N=4로 확인되었습니다.
• SGD를 사용한 Re-ID 모델 학습에서 크로스 엔트로피 손실과 트리플릿 손실의 조합을 사용하며 배치 정규화와 데이터 증강을 적용합니다.

실험 결과

연구 질문

• RQ1 피셔아이 왜곡과 가림으로 인한 단일 카메라 차량 Re-ID에서 추적 오차를 효과적으로 완화할 수 있는 방법은 무엇인가요?
• RQ2 큰 시점 변화 하에서 주의 메커니즘이 차량 Re-ID의 특징 학습을 얼마나 향상시킬 수 있나요?
• RQ3 여러 피셔아이 카메라 간 공간 제약을 통합할 경우 다중 카메라 Re-ID 성능은 어떻게 향상되나요?
• RQ4 임시 가림을 다루는 데서 정체성 일관성을 유지하는 데 최적의 균형은 무엇인가요?
• RQ5 새로운 대규모 피셔아이 Re-ID 데이터셋이 이 분야의 최신 기술 수준을 크게 향상시킬 수 있나요?

주요 결과

• IoU 및 신뢰도 지표를 사용한 품질 평가 메커니즘이 프론트 카메라에서 정체성 일관성(IC)을 0.82에서 0.94로 향상시키고, 오른쪽 카메라에서는 0.97로 향상시켰습니다.
• 가림 처리에 N=4 프레임을 사용할 경우 가장 균형 잡힌 성능을 달성하여 정체성 전환을 줄이고 추적 안정성을 유지했습니다.
• 주의 모듈을 적용하면 프론트 카메라에서 IC가 0.84에서 0.87로 향상되었으며, 공간 제약과 결합 시 0.94로 상승했습니다.
• 주의 모듈과 공간 제약을 모두 적용한 전체 시스템은 프론트, 왼쪽, 오른쪽 카메라에서 각각 IC 점수 0.94, 0.96, 0.97을 기록했습니다.
• 제안된 방법은 베이스라인 모델을 초월하며 실시간으로도 최신 기술 수준의 정확도를 달성했습니다.
• 저자들은 36개 시퀀스에 걸쳐 총 22,190장의 이미지를 포함한 대규모 애너테이션 처리된 피셔아이 데이터셋을 공개하여 향후 연구를 지원했습니다.