[논문 리뷰] TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement

Carl Doersch, Yi Yang외 6명|arXiv (Cornell University)|2023. 06. 14.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

TAPIR는 비디오에서 어떤 점을 추적하기 위한 이단계 방법을 제안한다. 먼저 프레임별 특징 매칭을 통해 후보 매칭을 식별하고, 이후 완전 컨volution 네트워크를 이용한 시간적 보정을 통해 정확도와 강인성을 향상시킨다. 이는 DAVIS에서 평균 재결합 점수(AJ)에 20%p 향상시키며, 고해상도 비디오에서 실시간 추론을 가능하게 하고, 정적 이미지에서 확산 기반 비디오 생성에 적용할 수 있다.

ABSTRACT

We present a novel model for Tracking Any Point (TAP) that effectively tracks any queried point on any physical surface throughout a video sequence. Our approach employs two stages: (1) a matching stage, which independently locates a suitable candidate point match for the query point on every other frame, and (2) a refinement stage, which updates both the trajectory and query features based on local correlations. The resulting model surpasses all baseline methods by a significant margin on the TAP-Vid benchmark, as demonstrated by an approximate 20% absolute average Jaccard (AJ) improvement on DAVIS. Our model facilitates fast inference on long and high-resolution video sequences. On a modern GPU, our implementation has the capacity to track points faster than real-time, and can be flexibly extended to higher-resolution videos. Given the high-quality trajectories extracted from a large dataset, we demonstrate a proof-of-concept diffusion model which generates trajectories from static images, enabling plausible animations. Visualizations, source code, and pretrained models can be found on our project webpage.

연구 동기 및 목표

• 장시간 비디오 시퀀스 동안, 특히 가림과 외관 변화가 있는 상황에서도 강인하고 확장 가능한 점 추적 방법을 개발하는 것.
• TAP-Net(시간적 일관성 부족)과 PIPs(순차적 처리로 인한 느린 추론)의 한계를 보완하기 위해 두 방법의 장점을 융합하는 것.
• 장시간 비디오와 고해상도 비디오에서 고정확도, 실시간 추론을 가능하게 하여 실질적 도입에 적합한 방법을 확보하는 것.
• 고품질 궤적을 통해 정적 이미지에서 애니메이션을 생성하는 Proof-of-Concept 확산 모델을 구현하는 것.

제안 방법

• 모델은 굵기에서 세밀함으로 나아가는 접근 방식을 사용한다: 먼저, 저해상도 특징을 이용해 각 프레임에서 독립적으로 후보 매칭을 식별하는 프레임별 매칭 단계를 거친다.
• 다음으로, 운동 일관성과 국소 외관 정보를 균형 있게 고려하여 궤적을 부드럽게 만드는 완전 컨volution형 시공간 네트워크를 적용하는 보정 단계를 거친다.
• 모델 아키텍처는 공간적·시간적으로 모두 완전 컨볼루션형이므로 GPU 및 TPU에서 효율적인 병렬 처리가 가능하다.
• 자기 지율 방식으로 예측의 불확실성을 추정하여, 낮은 신뢰도 예측은 억제할 수 있도록 한다.
• TAP-Net(가림에 강인한 매칭)과 PIPs(국소 보정)의 요소를 융합하지만, PIPs의 순차적 처리로 인한 성능 저하 문제를 피한다.
• TAPIR 출력을 기반으로 확산 기반 비디오 생성 파이프라인을 구축한다: 궤적 모델이 단일 이미지에서 운동을 예측하고, 픽셀 모델이 예측된 궤적을 조건으로 프레임을 생성한다.

실험 결과

연구 질문

• RQ1 프레임별 매칭과 시간적 보정을 조합한 이단계 추적 프레임워크가 장시간 비디오 시퀀스에서 뛰어난 정확도와 강인성을 달성할 수 있는가?
• RQ2 장시간 비디오에서 고해상도 실시간 추론을 가능하게 하면서도 높은 성능을 유지할 수 있는가?
• RQ3 TAPIR가 생성한 고품질 안정 궤적은 단일 정적 이미지에서 자연스러운 비디오 생성을 가능하게 할 수 있는가?
• RQ4 자기 지율 불확실성 추정이 벤치마크 데이터셋에서 추적 성능을 향상시키는가?

주요 결과

• TAPIR는 DAVIS 벤치마크에서 TAP-Net 대비 평균 재결합 점수(AJ)에 20%p 향상시켰다.
• 더 도전적인 TAP-Vid-Kinetics 벤치마크에서 TAPIR는 PIPs 대비 약 20%p AJ 점수에서 앞서며, 추론 시간도 크게 단축시켰다.
• 현대 GPU에서 실시간 추론이 가능하여, 고해상도 비디오를 실시간을 초월해 처리할 수 있다.
• TAPIR가 추출한 고품질 궤적은 Proof-of-Concept 확산 모델이 단일 이미지에서 물리적으로 타당한 애니메이션을 생성하는 데 성공적으로 활용되었다.
• 장시간 시퀀스 동안 가림 및 재등장 상황에서도 강인성을 유지하며 안정적인 트랙을 유지하는 것으로 확인되었다.