[논문 리뷰] Tracking Everything Everywhere All at Once

Qianqian Wang, Yen-Yu Chang외 5명|arXiv (Cornell University)|2023. 06. 08.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 TAP-Vid 벤치마크에서 장거리 추적, 음영 내성, 시간적 일관성 측면에서 최신 기술을 초월하는 성능을 달성하기 위해, 준3차원 캐논리컬 볼륨과 가역적인 국소-캐논리컬 이항사상( bijection )을 사용하여 비디오의 모든 픽셀에 대해 전역적으로 일관되고 전체 길이의 운동 궤적을 추정하는 테스트 시간 최적화 방법인 OmniMotion를 소개한다.

ABSTRACT

We present a new test-time optimization method for estimating dense and long-range motion from a video sequence. Prior optical flow or particle video tracking algorithms typically operate within limited temporal windows, struggling to track through occlusions and maintain global consistency of estimated motion trajectories. We propose a complete and globally consistent motion representation, dubbed OmniMotion, that allows for accurate, full-length motion estimation of every pixel in a video. OmniMotion represents a video using a quasi-3D canonical volume and performs pixel-wise tracking via bijections between local and canonical space. This representation allows us to ensure global consistency, track through occlusions, and model any combination of camera and object motion. Extensive evaluations on the TAP-Vid benchmark and real-world footage show that our approach outperforms prior state-of-the-art methods by a large margin both quantitatively and qualitatively. See our project page for more results: http://omnimotion.github.io/

연구 동기 및 목표

• 기존의 광학 플로우 및 희소 추적 방법이 장거리 운동과 음영을 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 쌍방향 프레임 간이 아닌 전체 비디오 시퀀스에 걸쳐 밀도 높고 전역적으로 일관된 운동 추정을 가능하게 하기 위해.
• 카메라 및 물체의 운동을 복잡하게 조합하는 것을 모델링하면서도 공간적·시간적 일관성을 유지하기 위해.
• 비디오의 어떤 지점에서든 연속적인 시공간 좌표에서 전체 궤적 쿼리가 가능한 통합 표현을 제공하기 위해.
• 사이클 일관성이 있는 이항사상이 포함된 캐논리컬 볼륨을 통해 음영과 큰 카메라 운동에 대한 내성을 향상시키기 위해.

제안 방법

• 이 방법은 모든 프레임에 걸쳐 전역 운동 구조를 인코딩하는 준3차원 캐논리컬 볼륨을 사용하여 비디오를 표현한다.
• 국소 프레임과 캐논리컬 볼륨 사이에 가역적인 이항사상을 정의하여 사이클 일관성을 보장하고, 와이드-리버스 매핑을 가능하게 한다.
• 광학적 일관성 및 플로우 일관성 손실을 사용하여, 테스트 시간 최적화를 통해 전역적으로 모든 궤적을 동시에 개선한다.
• 어려운 운동 영역을 우선적으로 처리하기 위해 하드마이닝 샘플링을 사용하여 빠르거나 복잡한 운동에서의 정확도를 향상시킨다.
• 광학적 일관성과 플로우 감독을 최적화 신호로 사용하여 캐논리컬 공간에서의 운동 추정을 정밀하게 보완한다.
• 이 방법은 비디오의 어떤 연속적인 시공간 좌표에서든 운동 궤적 쿼리를 지원한다.

Figure 2: Method overview . (a) Our OmniMotion representation is comprised of a canonical 3D volume $G$ and a set of bijections $\mathcal{T}_{\bm{i}}$ that map between each frame’s local volume $L_{i}$ and the canonical volume $G$ . Any local 3D location $\bm{x}_{i}$ in frame $i$ can be mapped to it

실험 결과

연구 질문

• RQ1 비디오의 모든 픽셀에 대해 전체 길이의 궤적을 모델링할 수 있는 통합적이고 전역적으로 일관된 운동 표현을 학습할 수 있는가?
• RQ2 장거리 일관성을 유지하면서도 음영에 대해 어떻게 내성을 확보할 수 있는가?
• RQ3 가역적인 이항사상이 포함된 캐논리컬 볼륨이 장거리 추적에서 국소적·프레임 단위 최적화를 능가할 수 있는가?
• RQ4 캐논리컬 볼륨을 사용한 테스트 시간 최적화가 실제 세계의 복잡한 비디오에서 정확도를 얼마나 향상시키는가?
• RQ5 이 방법은 파라렐랙스와 비정형 운동을 포함한 카메라 및 물체 운동의 임의의 조합을 어떻게 다루는가?

주요 결과

• OmniMotion는 TAP-Vid 벤치마크에서 AJ 점수 51.7을 기록하며 새로운 최신 기술 성능을 달성했다.
• 이 방법은 궤적 오차(TC)를 0.74로 줄여 장거리 일관성과 드리프트 감소를 입증했다.
• 아블레이션 연구에서 가역적인 이항사상을 제거할 경우 AJ 점수가 12.5로 떨어지며, 이는 전역적 구조 유지에 있어 이항사상의 핵심적 역할을 입증한다.
• 광학적 손실을 생략할 경우 AJ 점수가 42.3으로 하락하며, 이는 운동 추정 정밀도 향상에 있어 광학적 손실의 중요성을 확인한다.
• 개인화된 비교를 통해 강아지 및 스윙 시퀀스에서 음영 기간 동안 타당한 운동 경로를 성공적으로 추론함을 입증했다.
• 캐논리컬 볼륨에서 유도된 가짜 깊이 맵은 학습된 깊이 순서를 보여주며, 음영 기간 동안 정확한 표면 정렬을 가능하게 한다.

Figure 3: Qualitative comparison of our method and baselines on DAVIS [ 50 ] . The leftmost image shows query points in the first frame, and the right three images show tracking results over time. Notably, our method tracks successfully through the occlusion events in swing and india , while baselin