[논문 리뷰] LocVTP: Video-Text Pre-training for Temporal Localization

Meng Cao, Tianyu Yang외 4명|arXiv (Cornell University)|2022. 07. 21.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 시간적 국소화 작업을 위해 특별히 설계된 비디오-텍스트 사전학습 프레임워크인 LocVTP를 제안한다. 세분화된 클립-단어 대비 학습을 통해 특징 정렬을 향상시키고, 맥락 투영 헤드와 시간 인식 대비 손실을 통해 시간적 추론 능력을 향상시켜, 여섯 개의 데이터셋에서 추론 기반 및 국소화 기반의 하류 작업에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Video-Text Pre-training (VTP) aims to learn transferable representations for various downstream tasks from large-scale web videos. To date, almost all existing VTP methods are limited to retrieval-based downstream tasks, e.g., video retrieval, whereas their transfer potentials on localization-based tasks, e.g., temporal grounding, are under-explored. In this paper, we experimentally analyze and demonstrate the incompatibility of current VTP methods with localization tasks, and propose a novel Localization-oriented Video-Text Pre-training framework, dubbed as LocVTP. Specifically, we perform the fine-grained contrastive alignment as a complement to the coarse-grained one by a clip-word correspondence discovery scheme. To further enhance the temporal reasoning ability of the learned feature, we propose a context projection head and a temporal aware contrastive loss to perceive the contextual relationships. Extensive experiments on four downstream tasks across six datasets demonstrate that our LocVTP achieves state-of-the-art performance on both retrieval-based and localization-based tasks. Furthermore, we conduct comprehensive ablation studies and thorough analyses to explore the optimum model designs and training strategies.

연구 동기 및 목표

• 기존의 비디오-텍스트 사전학습(VTP) 방법들이 시간적 기반 작업(예: 시간적 기반 지정)으로의 전이 능력이 떨어지는 문제를 해결하기 위해.
• 국소화 작업에서 성능이 열악한 이유, 특히 세분화된 정렬과 시간적 추론 능력의 부족을 특정하기 위해.
• 개선된 다중모odal 정렬과 시간 모델링을 통해 클립 수준 및 프레임 수준의 국소화를 명시적으로 지원하는 새로운 VTP 프레임워크를 설계하기 위해.
• 광범위한 추론 실험과 하류 평가를 통해 제안된 구성 요소의 효과를 검증하기 위해.

제안 방법

• 두 단계 대비 학습 전략을 도입: 먼저 굵은 정도의 비디오-문장 정렬을 수행하고, 이후 잠재 공간에서의 유사도 점수를 이용해 세분화된 클립-단어 정렬을 수행.
• 수동 레이블링이 필요 없이 높은 유사도 쌍을 양성 샘플로 선택하는 클립-단어 대응 관계 탐지 기법을 제안.
• 학습 가능한 바이어스 벡터와 시간 거리 정보를 사용해 맥락 클립 특징을 기준 클립으로 변형하는 맥락 투영 헤드를 설계.
• 시간 인식 대비 손실을 적용하여 다중모달 정렬을 유지하면서도, 변형된 특징이 원본 쿼리와 가까이 유지되도록 강제.
• 독립적인 비디오 및 텍스트 인코더를 갖는 이중 브랜치 아키텍처를 사용하고, 공동 표현 학습을 위해 교차 어텐션 융합을 적용.
• 추가적인 감독 없이도 시간적 추론 능력을 향상시키기 위해, 맥락 왜곡 헤드를 자기지도 학습 전후 과제로 적용.

실험 결과

연구 질문

• RQ1 기존의 비디오-텍스트 사전학습 방법이 왜 시간적 기반 작업(예: 시간적 기반 지정)에서 성능이 열악한가?
• RQ2 세분화된 클립-단어 정렬이 사전학습된 특징의 국소화 작업 성능을 향상시킬 수 있는가?
• RQ3 특징 왜곡을 통한 시간적 맥락 인식을 통합함으로써 모델이 행동 시퀀스에 대한 추론 능력이 향상되는가?
• RQ4 범위와 방향 측면에서 맥락 투영 헤드와 시간 바이어스의 최적 설계는 무엇인가?
• RQ5 제안된 시간 인식 대비 손실이 표준 대비 손실에 비해 국소화 정확도 향상에 얼마나 효과적인가?

주요 결과

• LocVTP는 여섯 개의 데이터셋에서 추론 기반 및 국소화 기반의 하류 작업에서 최신 기술(SOTA) 성능을 달성하며, MIL-NCE 및 UniVL과 같은 기존 VTP 방법들을 능가한다.
• ActivityNet Captions 데이터셋에서 LocVTP는 시간적 기반 지정 작업에서 R@1이 58.3%를 기록하여 기준 모델인 MIL-NCE 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 추론 실험 결과, 맥락 투영 헤드 또는 시간 인식 대비 손실을 제거할 경우 성능 저하가 발생함을 확인하여, 이들 구성 요소의 필요성을 입증했다.
• 최적의 최대 바이어스 거리 δ_max는 4로 확인되었으며, 이보다 작거나 크면 각각 맥락 모델링이 부족하거나 과도해져 성능이 떨어졌다.
• 시간 인식 대비 손실의 다중모달 제약 조건이 내모달 변형보다 우수한 성능을 보였으며, 이는 왜곡 과정 동안 다중모달 정렬을 유지하는 것이 핵심임을 증명했다.
• 시각화 및 UMAP 결과는 LocVTP가 더 분리되어 있고 국소화가 잘 된 표현을 학습하며, 투영된 특징이 유사도 분포 측면에서 기준 특징과 밀접하게 일치함을 확인했다.