[논문 리뷰] Particle Video Revisited: Tracking Through Occlusions Using Point Trajectories

Adam W. Harley, Zhaoyuan Fang외 1명|arXiv (Cornell University)|2022. 04. 08.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 영구 독립 입자(PIPs)를 소개하며, 학습된 외관 특징과 비용 볼륨을 사용하여 반복 최적화를 수행함으로써 시간적 우선순위를 모델링하는 방식으로 장기간의 영상 시퀀스에서 픽셀 궤적을 추적하는 방법을 제안한다. 이는 DAVIS 벤치마크에서 평균 PCK-T 정확도 기준으로 최신 기술(SOTA)을 9점 이상 앞서며, 가림을 견디는 추적과 열쇠점 전파에서 우수한 성능을 달성한다.

ABSTRACT

Tracking pixels in videos is typically studied as an optical flow estimation problem, where every pixel is described with a displacement vector that locates it in the next frame. Even though wider temporal context is freely available, prior efforts to take this into account have yielded only small gains over 2-frame methods. In this paper, we revisit Sand and Teller's "particle video" approach, and study pixel tracking as a long-range motion estimation problem, where every pixel is described with a trajectory that locates it in multiple future frames. We re-build this classic approach using components that drive the current state-of-the-art in flow and object tracking, such as dense cost maps, iterative optimization, and learned appearance updates. We train our models using long-range amodal point trajectories mined from existing optical flow data that we synthetically augment with multi-frame occlusions. We test our approach in trajectory estimation benchmarks and in keypoint label propagation tasks, and compare favorably against state-of-the-art optical flow and feature tracking methods.

연구 동기 및 목표

• 장기적 가림 상황에서 옵티컬 플로우와 특징 매칭 기법의 한계를 해결하기 위해.
• 다중 프레임 시간적 맥락을 활용하여 강건한 장거리 픽셀 궤적 추정을 가능하게 하기 위해.
• 일반화 능력을 향상시키기 위해 다중 프레임 가림과 모달이 아닌 궤적을 포함한 합성 데이터로 모델을 훈련시키기 위해.
• 플로우 기반 방법과 달리 일시적인 가림 후에도 추적 지속성을 유지할 수 있는 방법을 개발하기 위해.
• 가시성 신호를 통해 임의의 길이의 추적을 지원하는 확장 가능한, 추론 효율적인 궤적 추정 프레임워크를 제공하기 위해.

제안 방법

• 모델은 T프레임의 RGB 영상과 초기 (x,y) 좌표를 입력으로 받아 T×2 궤적 행렬을 출력한다.
• 딥 네트워크를 사용하여 모든 프레임에서 위치와 외관을 동시에 추정하며, 학습된 시간적 우선순위를 활용한다.
• RAFT를 영감으로 삼은 4차원 상관 볼륨을 사용하여 픽셀별 특징에서 유도된 반복 최적화를 수행하며, 장거리 궤적 추정에 적합하게 수정한다.
• 가시성 및 프레임 간 외관 변화에 적응하기 위해 학습된 모듈을 사용하여 외관 특징을 반복적으로 업데이트한다.
• 비디오를 다중 프레임 모달이 아닌 궤적과 합성 가림을 포함한 FlyingThings++이라는 합성 데이터셋으로 훈련한다.
• 단기 궤적을 임의로 긴 궤적들로 연결할 수 있도록 가시성 예측 헤드를 도입하여 장기 가림 상황에서도 추적을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모달이 아닌 궤적과 가림을 포함한 합성 데이터로 훈련된 모델이 장기적 가림 상황에서 실세계 영상 추적에 일반화될 수 있는가?
• RQ2 2프레임 옵티컬 플로우나 국소 특징 매칭 대비 장거리 시간적 맥락을 활용하면 궤적 추정의 강건성이 향상되는가?
• RQ3 강력한 시간적 우선순위를 갖는 독립 입자 추적은 플로우 기반 방법이 실패하는 다중 가림 프레임 동안 정확도를 유지할 수 있는가?
• RQ4 열쇠점 전파 작업에서 제안된 방법이 최신 기술(SOTA) 옵티컬 플로우 및 특징 매칭 방법보다 성능가능한가?
• RQ5 모델은 장기간의 시야 상실 후에도 가림을 회복하고 대상을 재식별할 수 있는가?

주요 결과

• PIPs는 DAVIS 벤치마크에서 평균 PCK-T 정확도 기준으로 최고 성능을 기록하며, 모든 베이스라인보다 9점 이상 높다.
• DAVIS 영상 7개 중 4개에서 PIPs가 가장 높은 열쇠점 추적 정확도를 기록했으며, 나머지 3개에서는 DINO가 최상의 성능을 보였다.
• RAFT가 추적을 상실하는 순간적인 가림 상황에서도 PIPs가 추적을 유지하며, DINO는 굵고 불안정한 궤적을 생성한다.
• 강력한 시간적 우선순위 덕분에 모델은 가림에 대해 뛰어난 강건성을 보이며, 가시성 상실 후에도 대상을 성공적으로 재식별한다.
• 모달이 아닌 궤적과 다중 프레임 가림을 포함한 합성 데이터의 사용은 실세계 영상 시퀀스로의 효과적인 일반화를 가능하게 한다.
• 가시성 예측은 단기 궤적을 임의로 긴 궤적들로 연결할 수 있게 하여, 모델의 기본 시간 창을 초월한 추적을 가능하게 한다.