[논문 리뷰] Optical Flow Based Real-time Moving Object Detection in Unconstrained Scenes

Junjie Huang, Wei Zou외 2명|arXiv (Cornell University)|2018. 07. 13.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 25

한 줄 요약

이 논문은 동적 배경을 갖는 제약 없는 환경에서 온라인 호모그래피 행렬 추정을 통해 배경을 모델링하고 이중 모드 판단 기반 메커니즘을 통해 정확도를 향상시킨 광학 흐름 기반 실시간 이동 객체 검출 프레임워크를 제안한다. 이 방법은 10개의 다양한 영상 시퀀스에서 평균 F-측도 0.747을 달성하며, 프레임당 약 139ms의 실시간 성능도 유지를 한다.

ABSTRACT

Real-time moving object detection in unconstrained scenes is a difficult task due to dynamic background, changing foreground appearance and limited computational resource. In this paper, an optical flow based moving object detection framework is proposed to address this problem. We utilize homography matrixes to online construct a background model in the form of optical flow. When judging out moving foregrounds from scenes, a dual-mode judge mechanism is designed to heighten the system's adaptation to challenging situations. In experiment part, two evaluation metrics are redefined for more properly reflecting the performance of methods. We quantitatively and qualitatively validate the effectiveness and feasibility of our method with videos in various scene conditions. The experimental results show that our method adapts itself to different situations and outperforms the state-of-the-art methods, indicating the advantages of optical flow based methods.

연구 동기 및 목표

• 동적 배경과 제한된 계산 자원을 가진 제약 없는 환경에서 실시간 이동 객체 검출의 과제를 해결한다.
• 배치 처리나 전역 최적화, 정적 환경 가정에 의존하는 기존 방법의 한계를 극복한다.
• 광학 흐름과 호모그래피 행렬을 활용해 온라인, 효율적이고 정확한 배경 모델링 방법을 개발한다.
• 이중 모드 판단 기반 메커니즘을 통해 센서 줌 인, 천천히 움직이는 전경과 같은 어려운 상황에 대한 시스템 적응성을 향상시킨다.
• 프레임 간 전경 크기의 불균형이 있는 영상에서의 성능을 더 잘 반영하기 위해 평가 지표를 재정의한다.

제안 방법

• 이미지 전역에 조밀한 운동 벡터를 확보하기 위해 FlowNet2.0를 사용해 광학 흐름을 추정한다.
• KLT나 LK와 같은 추적 알고리즘에 의존하지 않고 광학 흐름 필드에서 직접 점 쌍을 추출해 호모그래피 행렬을 계산한다.
• 추정된 호모그래피 행렬을 기반으로 광학 흐름 형태의 배경 모델을 구성함으로써 온라인 및 실시간 배경 모델링을 가능하게 한다.
• 관측된 광학 흐름과 배경 모델이 예측한 흐름 간의 픽셀 단위 차이를 계산하여 이동 객체를 검출한다.
• 센서 줌 인과 같은 어려운 조건을 적응적으로 처리하기 위해 이중 모드 판단 기반 메커니즘을 적용한다.
• 프레임 단위 정밀도, 재현율, F-측도를 재정의한 후, 모든 프레임에 걸쳐 평균을 내어 영상 단위 성능을 산정함으로써 균형 잡힌 평가를 확보한다.

실험 결과

연구 질문

• RQ1 광학 흐름 기반 방법이 동적 배경을 갖는 제약 없는 환경에서 실시간 이동 객체 검출을 달성할 수 있는가?
• RQ2 호모그래피 행렬을 활용한 제안된 온라인 배경 모델링은 기존의 배치 처리 또는 정적 배경 모델링과 비교해 어떻게 다른가?
• RQ3 이중 모드 판단 기반 메커니즘이 센서 줌 인이나 복잡한 운동을 포함한 상황에서 얼마나 정확도를 향상시키는가?
• RQ4 다시 정의된 평가 지표는 프레임 간 전경 크기의 변화가 큰 영상에서 방법의 성능을 더 잘 반영하는가?
• RQ5 제안된 프레임워크의 계산 효율성은 어떻게 되며, RANSAC 반복 수와 같은 알고리즘 파라미터에 따라 어떻게 스케일링되는가?

주요 결과

• 제안된 방법은 10개의 다양한 영상 시퀀스에서 평균 픽셀 단위 F-측도 0.747을 달성하여 MCD5.8ms, SA, SCBU를 포함한 최신 기술들을 능가한다.
• 작고 천천히 움직이는 전경이 있는 PG1 시퀀스에서는 F-측도 0.550를 유지하여 저대비 및 미세한 운동에 대한 강건성을 입증한다.
• F-측도 임계값 0.5에서 성공률 0.92를 기록하여 실질적 구현에 있어 높은 신뢰성을 보여준다.
• 광학 흐름 추정이 총 프레임당 139ms 중 123ms를 차지하며, 전경 검출은 단지 16ms에 불과하여 성능이 흐름 추정 속도에 의해 제한됨을 시사한다.
• RANSAC 반복 수가 약 40일 때 성공률가 0.92를 초과하며, 그 이상으로는 성능 향상이 미미하여 정확도와 속도 사이의 최적 균형을 이룬다.
• 다시 정의된 평가 지표는 특히 전경 크기가 불균형한 영상에서 성능 차이를 효과적으로 드러내어 결과의 대표성과 신뢰성을 향상시킨다.