[논문 리뷰] Single-Stage Visual Query Localization in Egocentric Videos

Hanwen Jiang, Santhosh Kumar Ramakrishnan외 1명|arXiv (Cornell University)|2023. 06. 15.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

VQLoC는 비전 트랜스포머 백본과 크로스 어텐션 메커니즘을 사용하여 쿼리-프레임 및 프레임-프레임 간의 시공간적 대응 관계를 공동으로 모델링함으로써, 이고세트릭 비디오에서 시각적 쿼리 로컬라이제이션을 위한 단일 단계, 엔드 투 엔드 학습 가능한 프레임워크를 제안한다. 기존의 다단계 방법보다 20% 높은 정확도와 10배 빠른 추론 속도를 달성하여 Ego4D VQ2D 챌린지 랭킹에서 최고의 성능을 기록하였다.

ABSTRACT

Visual Query Localization on long-form egocentric videos requires spatio-temporal search and localization of visually specified objects and is vital to build episodic memory systems. Prior work develops complex multi-stage pipelines that leverage well-established object detection and tracking methods to perform VQL. However, each stage is independently trained and the complexity of the pipeline results in slow inference speeds. We propose VQLoC, a novel single-stage VQL framework that is end-to-end trainable. Our key idea is to first build a holistic understanding of the query-video relationship and then perform spatio-temporal localization in a single shot manner. Specifically, we establish the query-video relationship by jointly considering query-to-frame correspondences between the query and each video frame and frame-to-frame correspondences between nearby video frames. Our experiments demonstrate that our approach outperforms prior VQL methods by 20% accuracy while obtaining a 10x improvement in inference speed. VQLoC is also the top entry on the Ego4D VQ2D challenge leaderboard. Project page: https://hwjiang1510.github.io/VQLoC/

연구 동기 및 목표

• 독립적이고 미분 불가능한 단계에 의존하는 기존의 다단계 시각적 쿼리 로컬라이제이션(VQL) 파이프라인의 한계를 해결하고, 느린 추론 속도를 개선한다.
• 오픈 세트 객체 쿼리, 변동하는 객체 외관, 복잡한 시야, 조명 조건 및 가림을 포함한 장기적 이고세트릭 비디오의 과제를 극복한다.
• 통합된 쿼리-비디오 관계를 구축함으로써 장기적인 이고세트릭 비디오에서 시각적으로 지정된 객체의 정확하고 효율적인 시공간적 로컬라이제이션을 가능하게 한다.
• 프레임 수준의 검출에서 오차가 누적되는 것을 방지하고, 쌍별 비교로 인한 부과적 계산을 줄이기 위해 엔드 투 엔드로 학습 가능한 시스템을 개발한다.

제안 방법

• 비디오 프레임과 시각적 쿼리 양측의 이미지 특징을 추출하기 위해 DINO 사전 학습된 비전 트랜스포머(ViT) 백본을 사용한다.
• 쿼리와 각 비디오 프레임 간의 영역을 매칭하는 크로스 어텐션 트랜스포머 모듈을 통해 쿼리-프레임 대응 관계를 수립한다.
• 근처 비디오 프레임 간의 시간 연속성을 활용하여, 이러한 대응 관계를 시간에 따라 전파한다.
• 단기적 의존성을 모델링하고 장거리 모델링 문제를 피하기 위해 국소적 시간 윈도우(크기 5)를 사용하는 시공간 트랜스포머 블록을 설계한다.
• 클래스 불균형을 다루기 위해 앵커 기반 회귀와 BCE를 조합한 손실 함수에 하드 음성 마이닝(HNM)을 적용한 컨볼루션 예측 헤드를 활용한다.
• 시간적 및 시공간적 로컬라이제이션 정확도를 동시에 최적화하기 위해 다중 작업 손실을 사용하여 전체 모델을 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 이곡적인 이고세트릭 비디오에서의 시각적 쿼리 로컬라이제이션에 대해, 단일 단계 엔드 투 엔드 프레임워크가 복잡한 다단계 파이프라인을 능가할 수 있는가?
• RQ2 쿼리-프레임 및 프레임-프레임 대응 관계를 공동으로 모델링하는 것이 정확도 향상과 추론 속도 향상에 얼마나 효과적인가?
• RQ3 지역 윈도우 크기와 어텐션 메커니즘 측면에서 시공간 트랜스포머 블록의 최적 설계는 무엇인가?
• RQ4 손실 함수와 예측 헤드 아키텍처의 선택이 심각한 클래스 불균형 상황에서 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 다양한 객체 외관과 도전적인 시각 조건을 가진 장기적 이고세트릭 비디오에 일반화될 수 있는가?

주요 결과

• VQLoC는 Ego4D 벤치마크에서 기존 최신 기술 수준의 방법보다 상대적으로 20% 높은 정확도를 달성하였으며, tAP@25는 0.29, stAP@25는 0.19를 기록하였다.
• 다단계 기반 모델 대비 추론 속도가 10배 빨라졌으며, 이는 여분의 쌍별 비교를 제거하고 단일 스탑 로컬라이제이션을 가능하게 한 덕분이었다.
• 시간 윈도우 크기 5(5 FPS에서 1초 범위)를 사용할 경우 최고의 성능을 기록하였으며, 동적인 이고세트릭 비디오에서 장거리 의존성으로 인해 전역 어텐션은 성능을 떨어뜨렸다.
• 하드 음성 마이닝(HNM)이 포지티브 예측에서 노이즈를 줄여주기 때문에 포지티브 손실보다 우수한 성능을 기록하였으며, 이는 47.05%의 리콜과 55.89%의 성공률을 달성하였다.
• 절단 분석 결과, 3층의 공간 트랜스포머(X-TX)와 ViT-S14 백본을 448×448 해상도에서 사용할 경우 최고의 성능을 기록하였으며, 이는 38.58%의 리콜과 53.12%의 성공률을 기록하였다.
• 백본 크기와 특징 해상도에 대해 모델이 강건함을 확인하였으며, ViT-S14를 448×448 해상도에서 사용할 경우 정확도와 계산 비용 사이의 최적의 균형을 이룬다.