[논문 리뷰] Temporal Context Aggregation for Video Retrieval with Contrastive Learning

Jie Shao, Xin Wen외 2명|arXiv (Cornell University)|2020. 08. 04.

Multimodal Machine Learning Applications참고 문헌 60인용 수 8

한 줄 요약

이 논문은 자기주의 주의(self-attention)를 사용하여 프레임 수준 특징에서 장거리 시간적 맥락을 통합하는 영상 검색 프레임워크인 TCA를 제안한다. 이는 의미적 종속성의 모델링을 향상시킨다. 또한 메모리 백업을 활용한 감독형 대비 학습 방법을 도입하여 효율적인 하드 네거티브 마이닝을 실현하며, FIVR-200K에서 SOTA 성능을 달성하여 mAP가 17% 향상되었고, 프레임 수준 기반 방법보다 추론 속도가 22배 빠르다.

ABSTRACT

The current research focus on Content-Based Video Retrieval requires higher-level video representation describing the long-range semantic dependencies of relevant incidents, events, etc. However, existing methods commonly process the frames of a video as individual images or short clips, making the modeling of long-range semantic dependencies difficult. In this paper, we propose TCA (Temporal Context Aggregation for Video Retrieval), a video representation learning framework that incorporates long-range temporal information between frame-level features using the self-attention mechanism. To train it on video retrieval datasets, we propose a supervised contrastive learning method that performs automatic hard negative mining and utilizes the memory bank mechanism to increase the capacity of negative samples. Extensive experiments are conducted on multiple video retrieval tasks, such as CC_WEB_VIDEO, FIVR-200K, and EVVE. The proposed method shows a significant performance advantage (~17% mAP on FIVR-200K) over state-of-the-art methods with video-level features, and deliver competitive results with 22x faster inference time comparing with frame-level features.

연구 동기 및 목표

• 현재 방법들이 영상 검색에서 프레임을 고립된 클립이나 이미지로 간주하는 데서 비롯되는 장거리 의미적 종속성 모델링의 과제를 해결하기 위해.
• 자기주의 주의 기반 기법을 사용하여 시간적 맥락을 프레임 간 통합함으로써 영상 표현을 향상시키기 위해.
• 수동 샘플링 없이도 자동으로 하드 네거티브 마이닝을 가능하게 하는 학습 전략을 개발하기 위해.
• 기존의 영상 수준 및 프레임 수준 방법과 비교해 검색 정확도와 추론 효율성 간의 더 나은 트레이드오���을 달성하기 위해.

제안 방법

• TCA는 자기주의 주의 기반 기법을 사용하여 프레임 수준 특징을 통합하여 영상 수준의 통합 표현을 생성함으로써 장거리 시간적 종속성을 포착한다.
• 모델은 공유 메모리 백업을 활용한 감독형 대비 학습 목표 함수를 사용하여 훈련되며, 이는 대규모 네거티브 샘플을 저장하고 효율적으로 접근할 수 있도록 한다.
• 메모리 백업 메커니즘은 계산 비용을 감소시키고 영상 검색 데이터셋에서 풍부한 네거티브 샘플을 효과적으로 활용할 수 있도록 한다.
• 기울기 분석 결과, 이 방법은 본질적으로 하드 네거티브 마이닝을 수행함을 확인하였으며, 수동 샘플링 없이도 모델의 분류 능력을 향상시킨다.
• 이 프레임워크는 영상 수준 및 프레임 수준 특징 추출을 모두 지원하여, 더 유연하고 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기주의 주의 기반 기법은 영상 검색 작업에서 장거리 의미적 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 메모리 보강형 대비 학습 접근법은 더 적은 수동 하이퍼파라미터 조정으로도 기존 트리플릿 손실을 능가할 수 있는가?
• RQ3 기울기 역학을 통한 자동 하드 네거티브 마이닝은 수동 샘플링 없이도 검색 성능 향상에 기여하는가?
• RQ4 영상 수준 특징 접근법은 정확도는 프레임 수준 방법과 동등하거나 이를 초월하면서도 상당히 더 빠른 속도를 달성할 수 있는가?

주요 결과

• TCA는 기존의 영상 수준 기반 방법과 비교해 FIVR-200K ISVR 벤치마크에서 상대적으로 17% mAP 향상을 달성하였다.
• 프레임 수준 특징을 사용할 경우 TCA는 경쟁력 있는 성능을 보였으며, ViSiL_f를 능가하는 mAP 성능을 기록했고, 추론 속도는 22배 빠르게 구현하였다.
• TCA의 영상 수준 버전(TCA_c)은 FIVR-200K ISVR에서 0.570 mAP 성능을 기록하여, 동일한 작업에서 ViSiL_v(0.702 mAP)를 능가하였다.
• t-SNE 시각화 결과, TCA는 관련 영상의 클러스터가 더 조밀하고 잘 분리되어 있음을 확인하였으며, 간섭 영상의 분리도 더 우수하였다.
• 어텐션 시각화 결과, 모델이 핵심 이벤트 프레임에 집중하고 반복적이거나 배경 프레임은 억제하는 것을 확인하였으며, 이는 의미 맥락을 효과적으로 모델링할 수 있음을 입증한다.