[논문 리뷰] Less is More: Learning Highlight Detection from Video Duration

Bo Xiong, Yannis Kalantidis외 2명|arXiv (Cornell University)|2019. 03. 03.

Video Analysis and Summarization참고 문헌 40인용 수 5

한 줄 요약

이 논문은 1,000만 개의 해시태그가 붙은 인스타그램 영상에서 영상 지속 시간을 암묵적 지도 신호로 활용하여, 노이즈가 많은 레이블에 강건한 딥 랭킹 모델을 훈련시키는 비지도 영상 하이라이트 검출 방법을 제안한다. 짧은 영상이 하이라이트를 포함할 가능성이 더 높다는 것을 고려하여, TVSum 및 YouTube Highlights 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 이전의 비지도 방법들보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

Highlight detection has the potential to significantly ease video browsing, but existing methods often suffer from expensive supervision requirements, where human viewers must manually identify highlights in training videos. We propose a scalable unsupervised solution that exploits video duration as an implicit supervision signal. Our key insight is that video segments from shorter user-generated videos are more likely to be highlights than those from longer videos, since users tend to be more selective about the content when capturing shorter videos. Leveraging this insight, we introduce a novel ranking framework that prefers segments from shorter videos, while properly accounting for the inherent noise in the (unlabeled) training data. We use it to train a highlight detector with 10M hashtagged Instagram videos. In experiments on two challenging public video highlight detection benchmarks, our method substantially improves the state-of-the-art for unsupervised highlight detection.

연구 동기 및 목표

• 비용이 많이 들고 인위적인 인간 레이블링을 대체하기 위해, 무료이자 암묵적인 신호로 지속 시간을 활용하여 영상 하이라이트 검출의 확장성과 지도 학습의 한계를 해결하고자 한다.
• 사용자가 콘텐츠를 선별적으로 컨텐츠를 구성하기 때문에, 사용자 생성 영상 중 짧은 영상일수록 하이라이트를 포함할 가능성이 더 높다는 가설을 활용하고자 한다.
• 웹 스케일 영상 컬렉션에서 유약한 지도 학습 데이터를 활용할 때 노이즈 레이블에 강건한 딥 랭킹 프레임워크를 개발하고자 한다.
• 수동 요약 데이터에 접근할 수 없더라도 도메인 특화 비지도 하이라이트 검출에서 최신 기술 수준의 성능을 달성하고자 한다.
• 지속 시간이 다양한 영상 도메인에서 하이라이트 관련성의 대체 지표로 효과적인지 검증하고자 한다.

제안 방법

• 이 방법은 영상 지속 시간을 약한 지도 신호로 사용한다: 사용자 컨텐츠 커리에이션 행동에 기반해 짧은 영상이 하이라이트를 포함할 가능성이 더 높다고 가정한다.
• 유효한 훈련 쌍을 식별하기 위한 잠재 변수를 포함한 새로운 딥 랭킹 모델을 도입하여, 노이즈가 있는 쌍을 걸러내는 데 기여한다.
• 잠재 변수는 영상 세그먼트 쌍이 유효한 양/음성 쌍인지 예측하는 신경망을 통해 모델링되며, 이는 레이블 노이즈에 대한 강건성을 향상시킨다.
• 이 모델은 영상 지속 시간과 카테고리 태그만을 지도 신호로 사용하여 1,000만 개의 해시태그가 붙은 인스타그램 영상에서 엔드 투 엔드로 훈련된다.
• 프레임워크는 도메인 특화 쿼리를 사용해 훈련 데이터를 수집한 두 개의 공개 벤치마크인 TVSum 및 YouTube Highlights에서 평가된다.
• 대조적 랭킹 손실을 사용하여 하이라이트 세그먼트에 대해 더 높은 점수를 부여하며, 잠재 변수를 통한 노이즈 인식 훈련을 통해 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 사용자 생성 영상에서 영상 지속 시간이 하이라이트 관련성의 신뢰할 수 있고 확장 가능한 대체 지표가 될 수 있는가?
• RQ2 대규모이고 정제되지 않은 웹 영상 컬렉션에서 훈련할 때, 딥 랭킹 모델을 노이즈 많은 지도 신호에 강건하게 만들 수 있는가?
• RQ3 암묵적 신호로 지속 시간을 활용할 경우, 기존의 약한 지도 학습 또는 완전한 지도 학습 방법보다 비지도 하이라이트 검출 성능이 향상되는가?
• RQ4 모델 성능은 다양한 영상 도메인과 데이터 소스(예: 인스타그램 대 YouTube8M) 간에 어떻게 달라지는가?
• RQ5 잠재 변수 메커니즘이 노이즈 있는 훈련 쌍을 걸러내어 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 인스타그램 데이터로 훈련했을 때 YouTube Highlights 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 평균 정밀도(mAP)는 0.564를 기록했다.
• TVSum 벤치마크에서는 mAP가 0.564를 기록하여, 이전의 비지도 방법인 RRAE(0.416) 및 CLA(0.416)보다 뚜렷한 성능 향상을 보였다.
• 인스타그램 데이터로 훈련한 모델이 YouTube8M 데이터로 훈련한 모델보다 성능이 뛰어나며, YouTube Highlights에서 mAP는 0.564 대 0.505로 나타났다. 이는 짧은 인스타그램 영상에서 더 강한 지속 시간 신호가 존재하기 때문이다.
• 제거 실험 결과에 따르면, 잠재 변수 메커니즘이 성능 향상에 기여하며, 전체 모델(Ours-S)은 YouTube Highlights에서 mAP 0.564를 기록한 반면, 베이스라인 Ranking-EM은 0.458을 기록했다.
• 시각화 결과, 유효한 하이라이트-비하이라이트 쌍에 대해 높은 잠재 값이 할당되고, 유효하지 않은 쌍에는 낮은 값이 할당됨을 확인하여, 효과적인 노이즈 필터링이 이루어졌음을 시사한다.
• 파크르 및 강아지 전시 같은 도전적인 도메인에서도 각각 mAP 0.670 및 0.626을 기록하여, 다양한 콘텐츠에 걸쳐 일반화 능력이 뛰어나다는 것을 입증했다.