[논문 리뷰] Part-based Tracking by Sampling

George De Ath, Richard Everson|arXiv (Cornell University)|2018. 05. 22.

Video Surveillance and Tracking Methods참고 문헌 64인용 수 5

한 줄 요약

이 논문은 샘플 기반 색상 모델과 세그멘테이션 기반 패치 배치 전략을 사용하여 도전적인 영상 시퀀스에서 객체 추적 성능을 햖스하는 새로운 파트 기반 시각 추적 프레임워크인 샘플링 기반 파트 추적(PBTS)을 제안한다. 이 방법은 VOT2018 및 OTB100 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 분석 연구를 통해 패치 배치 메커니즘이 성능 향상에 가장 기여하는 것으로 나타났다.

ABSTRACT

We propose a novel part-based method for tracking an arbitrary object in challenging video sequences. The colour distribution of tracked image patches on the target object are represented by pairs of RGB samples and counts of how many pixels in the patch are similar to them. Patches are placed by segmenting the object in the given bounding box and placing patches in homogeneous regions of the object. These are located in subsequent image frames by applying non-shearing affine transformations to the patches' previous locations, locally optimising the best of these, and evaluating their quality using a modified Bhattacharyya distance. In experiments carried out on VOT2018 and OTB100 benchmarks, the tracker achieves higher performance than all other part-based trackers. An ablation study is used to reveal the effectiveness of each tracking component, with largest performance gains found when using the patch placement scheme.

연구 동기 및 목표

• 복잡한 영상 시퀀스에서 음영, 조명 변화, 운동 변형 등으로 인해 발생하는 임의의 객체 추적 과제를 해결하기 위해.
• 파트 기반 추적기에서 배경 픽셀에 패치를 배치함으로써 발생하는 추적 이격 및 실패 문제를 해결하기 위해.
• 희소하고 비모수적 색상 모델링 및 효율적인 운동 추정을 사용하는 강력한 모델 프리 추적 프레임워크를 개발하기 위해.
• 패치 배치, 모델 표현, 국소 최적화, 모델 갱신 등의 각 구성 요소가 추적 정확도에 기여하는 정도를 분석 연구를 통해 평가하기 위해.

제안 방법

• 각 패치에 대해 RGB 샘플과 그 빈도를 사용하여 비모수적 색상 분포 모델을 구성한다.
• 알파 매트링과 슈퍼픽셀 세그멘테이션을 활용해 초기 경계 상자 내 객체 영역을 식별하고, 균일한 객체 영역의 중심에 패치를 배치한다.
• 비기울기 아핀 변환을 적용하여 다음 프레임에서의 패치 위치를 예측한 후, 수정된 바타카리아 거리 기반 국소 최적화를 수행한다.
• 추적 성능을 향상시키기 위해 학습 가능한 파라미터 $ b $를 사용한 수정된 바타카리아 거리를 사용하여 패치 유사도를 평가한다.
• 전역에서 국소로의 검색 전략을 적용: 먼저 전역 아핀 변환을 적용한 후, 경량 운동에서의 작은 이탈을 처리하기 위해 국소 최적화로 위치를 정밀 조정한다.
• 추적 신뢰도에 기반해 파라미터 $ \beta_s $ 및 $ \beta_c $를 사용하는 적응형 모델 갱신 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 객체 세그멘테이션 기반 패치 배치 전략이 균일하거나 격자 기반 배치와 비교해 추적 성능에 어떤 영향을 미치는가?
• RQ2 샘플 기반 비모수적 색상 모델 사용이 외관 변화 조건에서 얼마나 더 높은 강건성을 확보하는가?
• RQ3 전역 비기울기 아핀 변환과 국소 최적화의 조합이 소규모 국소 변형이 발생하는 객체 운동을 다루는 데 얼마나 효과적인가?
• RQ4 각 구성 요소(패치 배치, 모델 갱신, 국소 최적화, 거리 측정)가 전체 추적 정확도에 기여하는 상대적 기여도는 어떠한가?
• RQ5 대체로 극한 조건(강한 조명 변화, 음영, 객체 회전 등)에서 최신 기술 수준의 추적기들과 비교해 PBTS는 어떤 성능을 보이는가?

주요 결과

• PBTS는 VOT2018 및 OTB100 벤치마크에서 모든 다른 파트 기반 추적기들보다 높은 성능을 달성한다.
• 분석 연구 결과, 객체 세그멘테이션 기반 패치 배치 메커니즘이 성능 향상에 가장 큰 기여를 하며, 배경 추적을 크게 감소시킨다.
• 최적화된 $ b = 1.4 $를 사용한 수정된 바타카리아 거리가 기본값인 $ b = 1/2 $보다 더 높은 성능을 보이며, 거리 측정 조정의 가치를 확인한다.
• 국소 최적화 및 모델 갱신 구성 요소는 각각 추적 강건성에 의미 있는 기여를 하며, 국소 최적화는 정밀도를 향상시키고, 모델 갱신은 시간이 지남에 따라 모델 정확도를 유지한다.
• 실패 사례 분석 결과 극한 상황에서의 한계를 드러내며, 세그멘테이션 성능이 열악할 경우 배경 기반 패치가 생기고, 객체와 배경의 유사도가 높을 경우(예:积雪 위의 토끼) 추적 이격이 발생한다.
• PBTS는 motocross1 및 zebrafish1 시퀀스에서 강한 조명 변화, 객체 회전, 운동 왜곡을 효과적으로 처리하며, 이 경우 ANT, DPT, LGT와 비교해 뛰어난 성능을 보였다.