[논문 리뷰] Road User Detection in Videos

Hughes Perreault, Guillaume-Alexandre Bilodeau외 2명|arXiv (Cornell University)|2019. 03. 28.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 6

한 줄 요약

이 논문은 두 개의 연속된 영상 프레임을 활용하여 도로 이용자 감지를 향상시키는 두 가지 비디오 객체 검출 모델인 RetinaNet-Double과 RetinaNet-Flow을 제안한다. RetinaNet-Double은 대상 프레임과 이전 프레임을 채널 차원에 따라 연결하여, 세 가지 데이터셋에서 mAP를 크게 향상시킨다. 반면 RetinaNet-Flow는 광학 흐름을 사용하지만 성능이 열 劣하여, 원시 프레임에서의 엔드 투 엔드 특징 학습이 광학 흐름을 명시적으로 인코딩하는 것보다 더 효과적임을 보여준다.

ABSTRACT

Successive frames of a video are highly redundant, and the most popular object detection methods do not take advantage of this fact. Using multiple consecutive frames can improve detection of small objects or difficult examples and can improve speed and detection consistency in a video sequence, for instance by interpolating features between frames. In this work, a novel approach is introduced to perform online video object detection using two consecutive frames of video sequences involving road users. Two new models, RetinaNet-Double and RetinaNet-Flow, are proposed, based respectively on the concatenation of a target frame with a preceding frame, and the concatenation of the optical flow with the target frame. The models are trained and evaluated on three public datasets. Experiments show that using a preceding frame improves performance over single frame detectors, but using explicit optical flow usually does not.

연구 동기 및 목표

• 비디오 시퀀스에서 소형, 부분 가림, 운동 흐림 현상이 발생하는 도로 이용자에 대한 객체 검출 정확도를 향상시키기 위해.
• 단일 프레임 방법과 비교해 두 개의 연속된 프레임을 사용할 경우 검출 성능 향상 여부를 조사하기 위해.
• 원시 프레임 연결 방식과 비교해 명시적인 광학 흐름 사용이 검출 성능 향상에 기여하는지 평가하기 위해.
• 기존 객체 검출기의 아키텍처를 변경하지 않고도 통합 가능한 일반적인 접근법을 개발하기 위해.
• 부정확한 가림 및 운동 흐림과 같은 어려운 교통 상황에서의 일관성과 강건성을 향상시키는 데 기여하기 위해.

제안 방법

• RetinaNet-Double은 대상 프레임과 이전 프레임을 채널 차원에 따라 연결하여 RetinaNet 기반 검출기의 입력으로 사용한다.
• RetinaNet-Flow는 두 프레임 간 예측된 광학 흐름과 대상 프레임을 결합하여 특징 융합을 수행한다.
• 두 모델 모두 백본이나 헤드의 아키텍처를 변경하지 않고 표준 RetinaNet 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 모델들은 세 가지 공개 도로 이용자 감지 데이터셋(MOTChallenge, UA-DETRAC, UAV-benchmark)에서 평가된다.
• ImageNet 사전 훈련 가중치를 사용한 경우와 그렇지 않은 경우를 모두 고려해 훈련을 수행하여 일반화 능력과 성능 향상 정도를 분석한다.
• 입력 텐서의 차원을 유지함으로써, 임의의 단일단계 또는 이중단계 객체 검출기와의 호환성을 확보하도록 설계되었다.

실험 결과

연구 질문

• RQ1 단일 프레임 검출과 비교해 두 개의 연속된 영상 프레임을 사용할 경우, 소형 또는 가림된 도로 이용자에 대한 검출 정확도 향상 여부는 어떻게 되는가?
• RQ2 원시 프레임 연결 방식과 비교해 두 프레임 간 광학 흐름을 명시적으로 사용할 경우 검출 성능 향상 여부는 어떠한가?
• RQ3 제안된 방법은 다양한 데이터셋과 훈련 환경에서 어떻게 일반화되는가?
• RQ4 객체가 정지해 있거나 움직임이 없는 경우 모델의 성능 유지 여부는 어떠한가?
• RQ5 기존 객체 검출 프레임워크에 아키텍처 수정 없이 이중 프레임 접근법을 통합할 수 있는가?

주요 결과

• RetinaNet-Double은 모든 세 데이터셋에서 사전 훈련 없이 훈련한 경우 기준 모델인 RetinaNet보다 더 높은 평균 정확도(mAP)를 달성한다.
• MOTChallenge 데이터셋에서 RetinaNet-Double은 사전 훈련 없이 훈련한 경우 기준 모델 대비 mAP가 3.1% 향상된다.
• RetinaNet-Flow는 RetinaNet-Double에 비해 성능이 열 劣하여, 명시적인 광학 흐름 사용이 검출 성능 향상에 기여하지 않으며 오히려 엔드 투 엔드 특징 학습을 방해할 수 있음을 시사한다.
• ImageNet 사전 훈련 가중치를 사용한 경우, 제안된 모델들은 백본에 사전 훈련된 특징을 사용하지 않았음에도 불구하고 UAV-benchmark에서 최신 기술 수준의 모델들과 경쟁 가능한 성능을 기록한다.
• qualitative 예시를 통해 RetinaNet-Double이 기준 모델이 놓친 차량까지도 감지함으로써, 가림 및 운동 흐림 상황에서도 강건성을 유지함을 입증한다.
• 초기 분석 결과, 동일한 프레임을 두 번 입력으로 사용할 경우 성능 저하가 미미하여 단일 프레임 환경에서도 대체 가능함을 확인했다.