[논문 리뷰] Shot Contrastive Self-Supervised Learning for Scene Boundary Detection

Shixing Chen, Xiaohan Nie외 4명|arXiv (Cornell University)|2021. 04. 28.

Video Analysis and Summarization참고 문헌 10인용 수 4

한 줄 요약

이 논문은 장시간 영상에서 인접한 샷들을 자연스러운 증강 자료로 활용하여 의미적으로 일관된 샷 표현을 학습하는 자기지도 대비 학습 방법인 ShotCoL을 제안한다. 인접한 샷 간 유사도를 최대화하고 무작위 샷 간 유사도를 최소화함으로써, ShotCoL은 레이블이 부족한 상황에서도 MovieNet에서 최신 기술 수준의 장면 경계 검출 성능을 달성한다. 이는 레이블 데이터의 25%만 사용하고, 파라미터 수는 9배 줄이며, 추론 속도는 7배 빠르게 구현된다. 또한 새로운 대규모 데이터셋을 활용해 광고 꼬리표 검출에 효과적으로 일반화된다.

ABSTRACT

Scenes play a crucial role in breaking the storyline of movies and TV episodes into semantically cohesive parts. However, given their complex temporal structure, finding scene boundaries can be a challenging task requiring large amounts of labeled training data. To address this challenge, we present a self-supervised shot contrastive learning approach (ShotCoL) to learn a shot representation that maximizes the similarity between nearby shots compared to randomly selected shots. We show how to apply our learned shot representation for the task of scene boundary detection to offer state-of-the-art performance on the MovieNet dataset while requiring only ~25% of the training labels, using 9x fewer model parameters and offering 7x faster runtime. To assess the effectiveness of ShotCoL on novel applications of scene boundary detection, we take on the problem of finding timestamps in movies and TV episodes where video-ads can be inserted while offering a minimally disruptive viewing experience. To this end, we collected a new dataset called AdCuepoints with 3,975 movies and TV episodes, 2.2 million shots and 19,119 minimally disruptive ad cue-point labels. We present a thorough empirical analysis on this dataset demonstrating the effectiveness of ShotCoL for ad cue-points detection.

연구 동기 및 목표

• 장시간 영상에서 장면 경계 검출 문제를 다루며, 이는 복잡한 시간적 구조로 인해 어려움을 겪고 있으며, 대량의 레이블 데이터가 필요로 한다.
• 영화 제작에서 의미적 및 구조적 일관성을 반영하는 자기지도 표현 학습 방법을 개발하며, 인접한 샷의 자연스러운 불변성 특성을 활용한다.
• 인간 레이블링에 의존도를 줄이기 위해, 레이블이 없는 영상 데이터에서 강력한 샷 표현을 학습한다.
• 새로운 응용 분야인 영화 및 TV 에피소드에서 최소한의 간섭을 유발하는 광고 꼬리표를 식별하는 데 있어 학습된 표현의 일반화 능력을 평가한다.
• 3,975개의 영상, 220만 개의 샷, 19,119개의 수동으로 레이블링된 광고 꼬리표를 포함한 새로운 대규모 데이터셋인 AdCuepoints를 소개하여 기준 성능 평가를 위한 기반을 마련한다.

제안 방법

• ShotCoL는 동일한 스토리 아키텍처에 속한 샷들이 의미적으로 유사하다는 가정에 기반해, 영상 내 인접한 샷들을 상호 긍정적 증강 자료로 간주한다.
• 질의 샷과 가장 유사한 인접한 샷(기준) 간의 유사도를 최대화하고, 무작위로 샘플링한 샷과의 유사도를 최소화하는 대비 학습 목표를 사용한다.
• 모델은 샷 표현의 국소적 시간적 일관성을 장려하는 대비 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 시각적 및 청각적 샷 표현은 MLP, B-LSTM, Linformer 모델을 활용한 조기 또는 후기 융합 전략을 통해 융합된다.
• 두 가지 작업에 대해 방법을 평가한다: 장면 경계 검출(영화넷 사용), 광고 꼬리표 검출(새로운 AdCuepoints 데이터셋 사용).
• 이전의 감독 학습 모델에 비해 훨씬 적은 파라미터와 더 빠른 추론 속도를 요구하는 효율적이고 확장 가능한 설계를 한다.

실험 결과

연구 질문

• RQ1 장시간 영상에서 인접한 샷들이 자기지도 표현 학습을 향상시키기 위해 효과적으로 자연스러운 증강 자료로 사용될 수 있는가?
• RQ2 샷 간 거리 기반 대비 학습이 전통적인 증강 기법보다 장면 수준의 의미적 구조를 더 잘 포착하는가?
• RQ3 학습된 샷 표현이 최소한의 레이블 데이터로 장면 경계 검출 및 광고 꼬리표 위치 특정과 같은 후행 작업에 일반화될 수 있는가?
• RQ4 정확도, 모델 크기, 추론 속도 측면에서 ShotCoL의 성능이 감독 및 자기지도 기반 베이스라인과 비교해 어떻게 되는가?
• RQ5 이전 방법이 요구하는 레이블 데이터의 25%만 사용해도 ShotCoL이 장면 경계 검출에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• ShotCoL는 이전 방법이 요구하는 레이블 학습 데이터의 약 25%만 사용해 MovieNet 데이터셋에서 장면 경계 검출 성능이 최신 기술 수준에 도달한다.
• 이전 최신 기술 수준의 감독 모델 대비 모델 파라미터 수를 9배 줄이고, 추론 시간을 7배 빠르게 하면서도 정확도를 유지하거나 향상시킨다.
• AdCuepoints 데이터셋에서, Fine-tuning을 통해 ShotCoL 기반 특징은 53.98% AP를 달성하여 ImageNet 및 Kinetics 사전 학습 특징을 능가한다.
• 레이블이 없는 AdCuepoints 데이터에서 학습하고 MovieNet에서 테스트할 경우, ShotCoL는 48.40% AP를 기록하여 강력한 교차 데이터셋 일반화 능력을 보여준다.
• ShotCoL를 통해 학습된 청각적 특징은 다양한 샷 윈도우 크기에서 PANN 사전 학습 특징보다 최대 5.89% AP 높은 성능을 보인다.
• 레이블 데이터의 1%만으로도 ShotCoL 기반 특징이 전체 레이블 데이터를 사용하는 엔드 투 엔드 학습보다 뛰어난 성능을 보이며, 데이터 효율성의 우수함을 입증한다.