[논문 리뷰] TransVCL: Attention-enhanced Video Copy Localization Network with Flexible Supervision

Sifeng He, Yue He외 7명|arXiv (Cornell University)|2022. 11. 23.

Fetal and Pediatric Neurological Disorders인용 수 5

한 줄 요약

TransVCL는 자체 및 상호 주의 메커니즘을 갖춘 맞춤형 트랜스포머를 사용하여 특징 강화, 유사도 행렬 생성 및 시간 정렬을 종합적으로 최적화하는 엔드 투 엔드, 주의 강화형 비디오 복사 국소화 네트워크를 제안한다. 이는 세그먼트 수준의 비디오 복사 국소화 벤치마크에서 최고 성능을 기록하며, 제한된 또는 비디오 수준의 애너테이션을 사용할 때 준지도 및 약한 지도 설정에서도 강력한 일반화 능력을 보여준다.

ABSTRACT

Video copy localization aims to precisely localize all the copied segments within a pair of untrimmed videos in video retrieval applications. Previous methods typically start from frame-to-frame similarity matrix generated by cosine similarity between frame-level features of the input video pair, and then detect and refine the boundaries of copied segments on similarity matrix under temporal constraints. In this paper, we propose TransVCL: an attention-enhanced video copy localization network, which is optimized directly from initial frame-level features and trained end-to-end with three main components: a customized Transformer for feature enhancement, a correlation and softmax layer for similarity matrix generation, and a temporal alignment module for copied segments localization. In contrast to previous methods demanding the handcrafted similarity matrix, TransVCL incorporates long-range temporal information between feature sequence pair using self- and cross- attention layers. With the joint design and optimization of three components, the similarity matrix can be learned to present more discriminative copied patterns, leading to significant improvements over previous methods on segment-level labeled datasets (VCSL and VCDB). Besides the state-of-the-art performance in fully supervised setting, the attention architecture facilitates TransVCL to further exploit unlabeled or simply video-level labeled data. Additional experiments of supplementing video-level labeled datasets including SVD and FIVR reveal the high flexibility of TransVCL from full supervision to semi-supervision (with or without video-level annotation). Code is publicly available at https://github.com/transvcl/TransVCL.

연구 동기 및 목표

• 수작업으로 만든 유사도 행렬의 한계를 해결하기 위해 장거리 시간적 의존성을 모델링하지 못하고 局부 최적화 문제를 야기하는 문제를 해결한다.
• 프레임 수준의 특징을 독립적으로 처리하는 데서 비롯하는 의존성을 극복하기 위해 자기 및 상호 주의를 통합하여 상호 및 내부 비디오 간 시간적 관계를 모델링한다.
• 학습 가능한 글로벌 토큰과 보조 비디오 수준 분류 손실을 통합하여 약한 지도 또는 비지능형 데이터로부터 효과적인 학습을 가능하게 한다.
• 특징 강화, 유사도 학습 및 시간 정렬을 엔드 투 엔드로 최적화하여 국소화 정확도를 향상시킨다.
• 최소한의 애너테이션 비용으로도 완전 지도, 준지도, 약한 지도 학습 설정 전반에서 강건성과 적응성을 입증한다.

제안 방법

• 쿼리 및 레퍼런스 비디오 시퀀스 내외의 장거리 의존성을 모델링함으로써 자기 및 상호 주의 레이어를 갖춘 맞춤형 트랜스포머 인코더를 도입하여 프레임 수준의 특징을 강화한다.
• 수작업으로 만든 코사인 유사도를 대체하기 위해 기울기 가능(correlation) 및 소프트맥스 레이어를 도입하여 강화된 특징에서 학습 가능한, 분류 능력이 뛰어난 유사도 행렬을 생성한다.
• 시간 제약 조건 하에 학습된 유사도 행렬에서 고유사도 패tern을 식별함으로써 복사 세그먼트 경계를 탐지하는 시간 정렬 모듈을 통합한다.
• 특징 시퀀스에 학습 가능한 클래스 토큰을 추가하여 글로벌 비디오 수준 표현을 집계함으로써 보조 비디오 수준 이진 분류를 가능하게 하여 일반화 능력을 향상시킨다.
• 개체 수준(세그먼트 국소화) 및 비디오 수준(이진 분류) 지도를 조합한 다중 작업 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 레이블이 있는 데이터, 레이블이 없는 데이터, 약한 레이블이 있는 데이터(비디오 수준 애너테이션)를 함께 최적화함으로써 융통성 있는 지도 방식을 지원하며, 가중치가 부여된 비지도 손실 성분을 사용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 주의 기반 아키텍처가 전통적인 파이프라인(수작업 유사도 행렬에 의존)보다 비디오 복사 국소화에서 더 우수한 성능을 낼 수 있는가?
• RQ2 자기 및 상호 주의 메커니즘이 비디오 복사 탐지에서 장거리 시간적 의존성을 얼마나 잘 향상시킬 수 있는가?
• RQ3 제한된 또는 세그먼트 수준의 애너테이션이 없는 경우, 제안된 방법은 준지도 및 약한 지도 설정에서 얼마나 효과적인가?
• RQ4 학습 가능한 토큰을 통한 글로벌 비디오 수준 표현 통합이 비디오 복사 국소화의 성능 향상과 일반화 능력 향상에 기여하는가?
• RQ5 소량의 레이블 데이터로 훈련하고 대규모 레이블 없음 또는 약한 레이블 데이터로 보완할 경우, 모델이 강력한 성능을 유지하는가?

주요 결과

• TransVCL는 완전 지도 학습 설정에서 VCSL 및 VCDB 벤치마크에서 최고 성능을 기록하였으며, 100% VCSL에서 F-스코어 66.51%를 기록하여 이전 방법들을 초월했다.
• 1% VCSL 준지도 설정에서 TransVCL는 레이블이 1%뿐인 데이터와 99배 많은 비레이블 데이터를 사용하여 F-스코어를 23.10%(지도 기반 베이스라인)에서 37.28%로 향상시켰다.
• FIVR 및 SVD 데이터셋의 비디오 수준 약한 지도에서 TransVCL는 100% VCSL 데이터로 훈련했을 때 F-스코어 67.13%를 기록하였으며, 지도 기반 베이스라인 대비 +0.62 향상되었다.
• 약한 레이블이 있는 데이터를 사용할 경우, 성능 향상이 뚜렷했으며, 더 작은 규모(10% VCSL의 1.8배)에서도 9배 큰 비레이블 세트보다 F-스코어 향상에서 뛰어난 성능을 보였다.
• 모델은 다양한 데이터 스케일과 지도 수준에서 강력한 성능 유지를 보이며, 실제 응용에서 높은 유연성과 확장성을 입증했다.
• 시각화 결과는 주의 메커니즘이 참조 비디오에서 관련된 복사된 순간을 강조하고 불필요한 전환을 억제함으로써 효과적인 특징 학습을 이룬다는 것을 보여주었다.