[논문 리뷰] Dynamic Mode Decomposition for Real-Time Background/Foreground Separation in Video

Jacob Grosek, J. Nathan Kutz|arXiv (Cornell University)|2014. 04. 30.

Image and Signal Denoising Methods인용 수 47

한 줄 요약

이 논문은 실시간 배경/전경 영상 분離 방법을 제안하며, 동적 모드 분해(DMD)를 사용하여 영상 프레임을 저질서수(배경) 및 흩어진(전경) 성분으로 분해한다. 이는 근처의 영역에서 주파수 0에 가까운 모드를 배경으로, 더 높은 주파수의 모드를 운동으로 식별함으로써 이루어진다. 이 방법은 파rameter 조정 없이도 RPCA보다 수개의 주기 빠른 성능을 달성하여 노트북 수준의 하드웨어에서도 실시간 처리가 가능하다.

ABSTRACT

This paper introduces the method of dynamic mode decomposition (DMD) for robustly separating video frames into background (low-rank) and foreground (sparse) components in real-time. The method is a novel application of a technique used for characterizing nonlinear dynamical systems in an equation-free manner by decomposing the state of the system into low-rank terms whose Fourier components in time are known. DMD terms with Fourier frequencies near the origin (zero-modes) are interpreted as background (low-rank) portions of the given video frames, and the terms with Fourier frequencies bounded away from the origin are their sparse counterparts. An approximate low-rank/sparse separation is achieved at the computational cost of just one singular value decomposition and one linear equation solve, thus producing results orders of magnitude faster than a leading separation method, namely robust principal component analysis (RPCA). The DMD method that is developed here is demonstrated to work robustly in real-time with personal laptop-class computing power and without any parameter tuning, which is a transformative improvement in performance that is ideal for video surveillance and recognition applications.

연구 동기 및 목표

• 영상 감시 및 인식 시스템에서 실시간으로 안정적인 배경/전경 분리가 이루어지도록 하는 필요성 해결.
• 로버스트 주성분 분석(RPCA)과 같은 최첨단 방법들이 느린 볼록 최적화에 의존함으로써 발생하는 계산 성능 저하 문제 해결.
• 시간적 푸리에 분해를 활용하여 저질서수/흩어진 성분 분리에 적합한 DMD를 사용한 빠르고 확장 가능한 RPCA 대체 방법 개발.
• 수동적인 파rameter 조정 없이 소비자 수준의 하드웨어에서도 실시간 영상 처리 가능하게 하기.
• DMD가 RPCA와 비슷한 분리 품질을 달성하면서도 계산 비용을 극적으로 감소시킬 수 있음을 입증하기.

제안 방법

• 시간적 시리즈로 본 영상 프레임에 DMD를 적용하여 시간적 푸리에 모드 추출.
• 근처의 영역에서 고유주파수가 0에 가까운 DMD 모드(제로-모드)를 저질서수 배경 성분으로 식별.
• 영구적이지 않은, 유한한 주파수를 가진 DMD 모드를 흩어진 전경 성분으로 간주.
• 반복적인 볼록 최적화를 피하기 위해 단일 특이값 분해(SVD)와 선형 해법 하나만을 사용하여 분리 수행.
• 흩어진 성분에 대해 DMD를 반복적으로 적용하여 분리 정밀도를 향상시키고 수렴 성능를 개선.
• DMD 프레임워크를 RPCA의 대체로 사용하여 핵심 및 L1 노름 최소화가 필요 없도록 함.

실험 결과

연구 질문

• RQ1 DMD는 실시간 배경/전경 영상 분리에 효과적으로 재사용될 수 있는가? 그리고 RPCA 수준의 성능을 확보할 수 있는가?
• RQ2 표준 하드웨어에서 DMD의 계산 비용은 RPCA 대비 속도 및 확장성 측면에서 어떻게 비교되는가?
• RQ3 반복 최적화 없이도 파rameter 조정 없이 DMD는 분리 품질을 어느 정도 유지할 수 있는가?
• RQ4 DMD를 반복적으로 적용하면 분리 정확도가 향상되고 진정한 저질서수/흩어진 분해에 수렴하는가?
• RQ5 영상에 대한 행렬 분해 맥락에서 DMD와 RPCA 간의 이론적 및 실용적 관계는 어떠한가?

주요 결과

• DMD 기반 방법은 노트북 수준의 하드웨어에서 실시간 영상 분리를 구현하여, 일반 카메라의 프레임 레이트를 훨씬 뛰어나는 속도로 영상 처리가 가능하다.
• 이 방법은 RPCA보다 수개의 주기 빠른 성능을 보이며, 프레임당 하나의 SVD와 하나의 선형 해법만을 요구하는 반면, RPCA는 비용이 많이 드는 볼록 최적화를 수행한다.
• 실제 영상 환경에서 DMD는 RPCA와 시각적으로 유사한 분리 품질을 제공하며, 최소한의 파arameter 조정으로도 성능이 뛰어나다.
• DMD를 반복적으로 적용할수록 분리 오차가 점차 감소하여, 더 나은 저질서수 및 흩어진 성분으로 수렴하는 것으로 나타났다.
• 충분한 시간적 샘플이 확보되어 있다면, 가속도나 고속 운동을 하는 객체에 대해서도 잘 작동한다.
• 객체가 프레임에 비해 크거나, 운동을 캡처하기 위해 사용된 프레임 수가 적을 경우 재구성 오차가 증가하여, 객체 크기와 시간 샘플링에 민감함을 보였다.