[논문 리뷰] Improving Multiple Object Tracking with Optical Flow and Edge Preprocessing

David-Alexandre Beaupré, Guillaume-Alexandre Bilodeau외 1명|PolyPublie (École Polytechnique de Montréal)|2018. 01. 29.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 9

한 줄 요약

이 논문은 도시 환경에서 다중 객체 추적(MOT) 성능을 향상시키기 위해 광학 흐름과 에지 검출을 배경 분할과 융합하는 새로운 전처리 방법을 제안한다. 분할된 블롭을 병합하고, 반대 방향으로 이동하는 객체를 분리하며, 에지 처리를 통해 객체 경계를 정밀하게 다듬음으로써, 네 개의 실제 도시 영상 데이터셋에서 탐지 정확도와 추적 성능이 향상된다.

ABSTRACT

In this paper, we present a new method for detecting road users in an urban environment which leads to an improvement in multiple object tracking. Our method takes as an input a foreground image and improves the object detection and segmentation. This new image can be used as an input to trackers that use foreground blobs from background subtraction. The first step is to create foreground images for all the frames in an urban video. Then, starting from the original blobs of the foreground image, we merge the blobs that are close to one another and that have similar optical flow. The next step is extracting the edges of the different objects to detect multiple objects that might be very close (and be merged in the same blob) and to adjust the size of the original blobs. At the same time, we use the optical flow to detect occlusion of objects that are moving in opposite directions. Finally, we make a decision on which information we keep in order to construct a new foreground image with blobs that can be used for tracking. The system is validated on four videos of an urban traffic dataset. Our method improves the recall and precision metrics for the object detection task compared to the vanilla background subtraction method and improves the CLEAR MOT metrics in the tracking tasks for most videos.

연구 동기 및 목표

• 도시 교통 영상에서 객체 탐지 및 세분화를 향상시켜 후속 다중 객체 추적(MOT) 성능을 개선한다.
• 배경 분할의 핵심 한계—예를 들어 블롭 병합, 분할, 그림자 아티팩트, 과도한 탐지 등—를 후처리를 통해 해결한다.
• 광학 흐름과 에지 검출을 활용해 추적기 입력 전에 정제된 전경 블롭을 제공하는 견고한 전처리 파이프라인을 개발한다.
• 다양한 도시 영상 시퀀스에서 객체 탐지의 정밀도와 재현율을 높이고, 추적 작업에서 CLEAR MOT 메트릭을 향상시킨다.

제안 방법

• 각 영상 프레임에서 초기 전경 블롭을 생성하기 위해 배경 분할을 적용한다. 이는 영역 관심(ROI) 후보로 사용된다.
• 각 블롭에 대해 조밀한 광학 흐름(패치 크기 8)을 계산하여 운동 일관성을 분석하고, 유사한 흐름 벡터를 가진 영역을 병합함으로써 분할을 줄인다.
• 광학 흐름을 사용해 반대 방향으로 이동하는 객체의 블롭이 융합된 경우를 탐지하고 분리한다. 특히 가림 상황에서 효과적이다.
• 전경 블롭과 배경 이미지 양쪽에 Canny 에지 검출기를 적용하여 객체 경계를 추출하고 배경 노이즈(예: 도로 표시)를 제거한다.
• 에지 정보를 사용해 블롭 경계를 정밀하게 다듬어 그림자로 인한 과도한 분할을 줄이고 객체 크기 추정을 향상시킨다.
• 운동 기반 병합, 흐름 기반 분리, 에지 기반 경계 조정을 융합하여 개선된 최적의 이진 전경 이미지를 구성함으로써 추적기 입력 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 광학 흐름과 에지 처리가 배경 분할된 도시 영상 시퀀스에서 잡음 신호를 줄이고 객체 경계 추정을 효과적으로 향상시킬 수 있는가?
• RQ2 광학 흐름을 통한 운동 일관성 분석이 다중 객체 추적에서 블롭 병합 및 분할 문제를 어느 정도 해결할 수 있는가?
• RQ3 겹치거나 가까이 있는 도로 이용자가 있는 환경에서 에지 기반 정밀 조정이 객체 탐지 및 추적 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 전처리 방법이 다양한 도시 교통 상황에서 표준 MOT 평가 메트릭(예: MOTA, MOTP, 정밀도, 재현율)에 측정 가능한 향상을 가져오는가?

주요 결과

• Sherbrooke 데이터셋에서 ViBe의 재현율은 0.606에서 0.752로 향상되었고, 정밀도는 0.681에서 0.739로 상승하여 탐지 성능 향상이 뚜렷했다.
• MKCF 추적기의 경우 Sherbrooke 시퀀스에서 MOTA는 0.317에서 0.523으로, MOTP는 0.553에서 0.576으로 향상되어 강력한 추적 성능 향상을 입증했다.
• Rene-Levesque 시퀀스에서 UT의 MOTA는 5% 향상(0.404 → 0.690), MOTP는 12% 향상(0.576 → 0.590)되어 고밀도, 저해상도 환경에서도 효과적임을 입증했다.
• 그림자로 인한 과도한 분할을 크게 줄였고, 객체 크기 추정이 향상되어 트래커의 최소 블롭 크기 임계값을 조정함으로써 더 작은 객체도 더 정확히 추적할 수 있게 되었다.
• St-Marc에서 네 명의 보행자가 함께 걷는 경우와 같이 복잡한 가림 상황이 있는 Rouen 시퀀스에서, MKCF의 MOTA는 0.501에서 0.629로, MOTP는 0.582에서 0.600으로 향상되어 복잡한 상황에서도 뛰어난 성능을 보였다.
• 긴밀하게 뭉쳐 있는 보행자(예: St-Marc에서 네 명이 함께 걷는 경우)를 정확히 분리하는 데는 한계가 있었지만, MKCF와 UT 양쪽에서 MOTA가 향상되어 다양한 도시 조건에 일반화 가능함을 시사했다.