[논문 리뷰] PaFiMoCS: Particle Filtered Modified-CS and Applications in Visual Tracking across Illumination Change

Rituparna Sarkar, Samarjit Das외 1명|arXiv (Cornell University)|2013. 01. 08.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 5

한 줄 요약

이 논문은 시각 추적에서 고차원 희박 조명 신호의 천천히 변화하는 희박성 패턴 제약 조건 하에서 저차원 운동 상태에 대한 중요도 샘플링과 사후 모드 추적을 조합한 새로운 입자 필터 기반 알고리즘인 PaFiMoCS를 제안한다. 이 알고리즘은 실재 영상 및 시뮬레이션 영상 모두에서 기존 방법들보다 뛰어난 성능을 보이며, 극심한 조명 변화 하에서도 낮은 오차와 안정적인 추적을 달성한다.

ABSTRACT

We study the problem of tracking (causally estimating) a time sequence of sparse spatial signals with changing sparsity patterns, as well as other unknown states, from a sequence of nonlinear observations corrupted by (possibly) non-Gaussian noise. In many applications, particularly those in visual tracking, the unknown state can be split into a small dimensional part, e.g. global motion, and a spatial signal, e.g. illumination or shape deformation. The spatial signal is often well modeled as being sparse in some domain. For a long sequence, its sparsity pattern can change over time, although the changes are usually slow. To address the above problem, we propose a novel solution approach called Particle Filtered Modified-CS (PaFiMoCS). The key idea of PaFiMoCS is to importance sample for the small dimensional state vector, while replacing importance sampling by slow sparsity pattern change constrained posterior mode tracking for recovering the sparse spatial signal. We show that the problem of tracking moving objects across spatially varying illumination change is an example of the above problem and explain how to design PaFiMoCS for it. Experiments on both simulated data as well as on real videos with significant illumination changes demonstrate the superiority of the proposed algorithm as compared with existing particle filter based tracking algorithms.

연구 동기 및 목표

• 공간적으로 변화하는 조명 변화가 있는 영상 시퀀스에서 움직이는 객체를 추적하는 과제를 해결한다. 이 경우 조명 패턴은 희박하며 시간이 지남에 따라 천천히 변화한다.
• 관측 모델이 비선형적이고 비정규분포일 때, 특히 고차원 희박 신호 복원에서 표준 입자 필터의 한계를 극복한다.
• 시간에 따라 변화하는 희박성 패턴을 가진 시간 변화하는 희박 신호에 대해 원인적 추정을 위한 확장 가능하고 효율적인 해법을 개발한다.
• 저차원 운동 상태(입자 필터링을 위한)와 고차원 희박 공간 신호(제약 조건이 있는 사후 모드 추적을 위한)를 분리하는 하이브리드 프레임워크를 설계한다.

제안 방법

• 저차원 운동 상태 벡터에 대해 입자 필터링을 사용하여 중요도 샘플링을 수행함으로써 운동 파rameter의 효율적 순차 추정을 가능하게 한다.
• 고차원 희박 공간 신호(예: 조명 이미지)에 대한 표준 중요도 샘플링을, 천천히 변화하는 희박성 패턴 변화 제약 조건이 있는 사후 모드 추적 방법으로 대체한다.
• 시간에 따른 희박성 패턴의 시간적 일관성과 점진적인 변화를 활용하여 수정된-CS 원리를 적용해 희박한 신호를 추정한다.
• 희박 표현에서 활성 계수를 식별하기 위해 99% 에너지 규칙을 사용하는 임계값 기반 지원 추정 전략을 입자 필터와 통합한다.
• 조명 신호를 희박 도메인에서 표현하기 위해 크기 d=20인 레전드르 기저를 사용하여 공간적 조명 변화를 정확하게 모델링한다.
• 입자 다양성을 유지하고 분해를 방지하기 위해 재표본화 단계를 도입하며, γ 및 β 파라미터를 사용해 입자 필터 내 탐색과 이용의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 하이브리드 입자 필터링 및 희박한 신호 복원 프레임워크는 영상 시퀀스에서 극심한 조명 변화 상황에서도 객체 추적에 효과적으로 작용할 수 있는가?
• RQ2 PaFiMoCS의 성능은 기존 입자 필터 기반 방법들과 수정된-CS 접근 방식에 비해 추적 정확성과 안정성 측면에서 어떻게 비교되는가?
• RQ3 시간에 따라 희박성 패턴 변화를 제약 조건으로 둠으로써 희박한 신호 복원의 강건성은 어느 정도 향상되는가?
• RQ4 희박성 지원에 대한 잘못된 가정(예: 고정된 지원 또는 조밀한 지원)은 입자 필터 기반 추적 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ5 제한된 수의 입자(예: 100개)로도 고차원, 비선형, 비정규분포 관측 환경에서 정확한 추적을 유지할 수 있는가?

주요 결과

• PaFiMoCS는 모든 추적 시퀀스에서 안정적이고 낮은 정규화 평균 제곱 오차(NMSE)를 기록하여 극심한 조명 변화 상황에서도 일관된 성능을 보였다.
• PaFiMoCS-slow-support-change 역시 추적을 유지했지만, 희박성 패턴의 갑작스러운 변화로 인해 약간 더 높은 오차를 보였으며, 이는 천천히 변화하는 가정의 유용성을 확인한다.
• PF-MT-3와 PF-MT-20는 잘못된 가정으로 인해 추적에 실패했다: PF-MT-3는 첫 7개의 레전드르 계수만 활성이라고 가정했고, PF-MT-20는 전체 지원(조밀한 벡터)을 가정했으며, 이는 실제 조명의 희박성 특성과 어긋났다.
• 보조-PF 및 PF-Gordon 변형은 100개의 입자로는 추적에 실패했으며, 이는 고차원 상태 공간에서 수렴하기 위해 훨씬 더 많은 입자가 필요하기 때문이다.
• γ=0.7과 β=0.4를 사용하고, α를 99% 에너지 임계값으로 설정한 PaFiMoCS는 경험적 튜닝을 통해 최적의 성능을 달성했다.
• 시뮬레이션 시퀀스의 50회 몬테카를로 실시 결과, PaFiMoCS는 추적 정확성과 강건성 면에서 모든 기준 방법들을 능가하는 것으로 확인되었다.