[논문 리뷰] FMODetect: Robust Detection and Trajectory Estimation of Fast Moving Objects.

Denys Rozumnyi, Jiřı́ Matas외 3명|arXiv (Cornell University)|2020. 12. 15.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

FMODetect는 탈색과 매스킹을 분리하여 고속으로 움직이는 물체의 강력한 검출 및 궤적 추정을 위한 학습 기반 방법을 제안한다. 먼저 도메인 거리 함수를 사용해 물체를 검출하고, 매스킹 및 피팅 네트워크를 통해 궤적과 배경 제거된 외관을 추정한 후, 에너지 최소화 기반 탈색 기법을 사용해 선명한 재구성을 수행한다. 이 방법은 기존의 탈색 기반 방법에 비해 수십만 배 빠른 추론 속도를 기록하며 최첨단 성능을 달성한다.

ABSTRACT

We propose the first learning-based approach for detection and trajectory estimation of fast moving objects. Such objects are highly blurred and move over large distances within one video frame. Fast moving objects are associated with a deblurring and matting problem, also called deblatting. Instead of solving the complex deblatting problem jointly, we split the problem into matting and deblurring and solve them separately. The proposed method first detects all fast moving objects as a truncated distance function to the trajectory. Subsequently, a matting and fitting network for each detected object estimates the object trajectory and its blurred appearance without background. For the sharp appearance estimation, we propose an energy minimization based deblurring. The state-of-the-art methods are outperformed in terms of trajectory estimation and sharp appearance reconstruction. Compared to other methods, such as deblatting, the inference is of several orders of magnitude faster and allows applications such as real-time fast moving object detection and retrieval in large video collections.

연구 동기 및 목표

• 단일 영상 프레임 내에서 매우 흐릿하고 큰 거리를 이동하는 고속 물체를 검출하고 재구성하는 데 도전하는 것.
• 계산 비용이 많이 들고 복잡한 통합 탈색 기반 방법의 한계를 극복하는 것.
• 대규모 영상 컬렉션에서 영상 검색 및 물체 검출과 같은 실시간 응용을 가능하게 하는 것.
• 고속 물체의 궤적 추정 및 선명한 외관 재구성 정확도를 향상시키는 것.

제안 방법

• 먼저 물체의 궤적을 표현하기 위해 잘라낸 거리 함수를 사용해 고속 물체를 검출한다.
• 검출된 각 물체에 대해 매스킹 및 피팅 네트워크를 적용하여 궤적을 추정하고 배경이 제거된 외관을 추출한다.
• 선명한 외관 재구성을 위해 매스킹 단계와 분리된 에너지 최소화 기반 탈색 기법을 사용한다.
• 복잡한 탈색 문제를 두 단계로 분리한다: 매스킹(전경/배경 분리) 및 탈색(선명한 이미지 복구).
• 궤적 정확도와 재구성된 선명한 프레임의 시각적 품질을 중시하여 엔드 투 엔드로 티칭한다.

실험 결과

연구 질문

• RQ1 학습 기반 방법이 매우 흐릿한 고속 물체의 강력한 검출 및 궤적 추정을 달성할 수 있는가?
• RQ2 매스킹과 탈색을 분리함으로써 통합 탈색 기반 방법에 비해 성능 향상과 더 빠른 추론 속도를 달성할 수 있는가?
• RQ3 이 방법은 대규모 영상 검색 응용 분야에서 실시간 처리를 가능하게 하는가?
• RQ4 제안된 방법은 궤적 추정 및 선명한 외관 재구성 측면에서 최첨단 기술과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 고속 물체의 궤적 추정에서 최첨단 성능을 달성한다.
• 선명한 외관 재구성 측면에서 기존 방법을 능가하며, 더 뛰어난 시각적 품질과 정확도를 제공한다.
• 추론 속도가 통합 탈색 기반 방법에 비해 수십만 배 빠르며, 실시간 응용이 가능하다.
• 매스킹과 탈색을 분리한 접근 방식은 엔드 투 엔드 탈색 대비 더 뛰어난 강건성과 효율성을 제공한다.