[논문 리뷰] How Local is the Local Diversity? Reinforcing Sequential Determinantal Point Processes with Dynamic Ground Sets for Supervised Video Summarization

Yandong Li, Liqiang Wang외 2명|arXiv (Cornell University)|2018. 07. 11.

Video Analysis and Summarization참고 문헌 37인용 수 4

한 줄 요약

이 논문은 강화학습 기반의 순차적 결정점프로세스(DySeqDPP)를 제안하며, 감독형 비디오 요약에서 국소적 다양성을 위한 최적의 세그먼트 길이를 동적으로 학습한다. 시간 간격을 적응적으로 모델링하고 정책 그래디언트 학습을 통해 MLE 기반 방법과 SOTA 기준선을 초월하여 SumMe에서 44.3±2.8 F1, TVSum에서 58.4±2.5의 성능을 달성한다.

ABSTRACT

The large volume of video content and high viewing frequency demand automatic video summarization algorithms, of which a key property is the capability of modeling diversity. If videos are lengthy like hours-long egocentric videos, it is necessary to track the temporal structures of the videos and enforce local diversity. The local diversity refers to that the shots selected from a short time duration are diverse but visually similar shots are allowed to co-exist in the summary if they appear far apart in the video. In this paper, we propose a novel probabilistic model, built upon SeqDPP, to dynamically control the time span of a video segment upon which the local diversity is imposed. In particular, we enable SeqDPP to learn to automatically infer how local the local diversity is supposed to be from the input video. The resulting model is extremely involved to train by the hallmark maximum likelihood estimation (MLE), which further suffers from the exposure bias and non-differentiable evaluation metrics. To tackle these problems, we instead devise a reinforcement learning algorithm for training the proposed model. Extensive experiments verify the advantages of our model and the new learning algorithm over MLE-based methods.

연구 동기 및 목표

• 장시간 비디오 요약에서 최적의 국소적 다양성 범위를 결정하는 데 도전한다. 특히 이오세트릭 비디오에 대해 고려한다.
• 고정된 세그먼트 길이를 가정하는 SeqDPP의 한계를 극복한다. 이는 수동으로 분할이 필요하고, 일관된 세그먼트 길이를 전제로 한다.
• 비디오 콘텐츠와 시간적 구조에 따라 국소적 다양성이 어떻게 강화되어야 할지 자동으로 추론할 수 있도록 한다.
• 노출 편향을 완화하고, 비디오 요약에서 미분 불가능한 평가 지표인 F1 점수를 다룰 수 있는 훈련 프레임워크를 개발한다.
• 훈련과 추론 간 격차를 해소하기 위해 강화학습을 활용해 정책 학습을 최종 평가 목표와 일치시킨다.

제안 방법

• 입력 비디오에서 국소적 다양성 세그먼트의 시간 간격을 학습할 수 있는 잠재 변수를 도입한 SeqDPP의 동적 확장인 DySeqDPP를 제안한다.
• 동적으로 결정된 세그먼트에 대한 조건부 DPP를 통해 국소적 다양성을 정의함으로써, 시간적으로 분리된 시점에서는 시각적으로 유사한 샷들이 함께 존재할 수 있도록 한다.
• 생성된 요약의 F1 점수를 보상으로 사용하는 정책 그래디언트 목표를 가진 강화학습 알고리즘을 사용해 모델을 훈련한다.
• 훈련 중 오라클 요약을 사용하여 세그먼트 제안을 샘플링하고, DPP 커널 행렬 $\bm{L}^t$의 대각선에서 샷 수준 점수를 계산한다.
• 노출 편향을 줄이기 위해 정책 그래디언트를 최적화하여 기대 F1 점수를 최대화하는 정책 네트워크를 최적화한다.
• KTS를 통한 시간적 시나리오 분할을 기반으로 샷 수준 중요도 점수에서 유도된 시나리오 수준 점수를 바탕으로 낙서 백프랙스 기반 요약 생성을 적용한다.

실험 결과

연구 질문

• RQ1 장시간 비디오의 시간적 구조에 따라 국소적 다양성을 고정된 세그먼트 길이에 의존하지 않고 어떻게 동적으로 적응시킬 수 있는가?
• RQ2 종합적으로 국소적 다양성 범위를 학습함으로써 수작업 또는 고정된 분할 방식과 비교했을 때 요약 품질에 어떤 영향을 미치는가?
• RQ3 강화학습이 F1 점수와 같이 비미분 가능한 지표를 가진 순차적 DPP 모델을 효과적으로 훈련시킬 수 있으며, 노출 편향을 완화하는가?
• RQ4 DySeqDPP는 일반화 능력과 평가 지표와의 일치도에서 MLE 기반 훈련 방식과 어떻게 비교되는가?
• RQ5 동적 세그먼트 학습이 장시간 이오세트릭 비디오에서 핵심 스토리 이벤트를 얼마나 잘 포착하는가?

주요 결과

• DySeqDPP는 SumMe 데이터셋에서 44.3±2.8 F1 점수로 새로운 SOTA 성능을 달성하였으며, 이는 이전 SOTA인 SeqDPP(40.8±4.8)를 크게 앞서는 성과이다.
• TVSum 데이터셋에서는 58.4±2.5 F1 점수를 기록하여, 이전 최고 성능인 SeqDPP(57.4±2.0)를 초월하였다.
• 정성적 분석 결과, DySeqDPP는 SeqDPP가 놓친 핵심 스토리 이벤트—예를 들어, 첫 번째와 마지막에 스카이다이빙 어부가 나타나는 장면—을 잘 포착하고 있다.
• 모델은 SeqDPP가 포함하지 못한 핵심 순간들—예를 들어, 유머러스한 비디오에서 개가 공을 물어뜯는 장면—을 성공적으로 식별하고 있다.
• 강화학습 훈련은 훈련 목표와 평가 지표 간의 일치도를 향상시켜 노출 편향을 줄였다.
• 동적 세그먼트 학습 메커니즘은 이벤트 밀도에 따라 세그먼트 길이를 적응적으로 조정함으로써 시간적 일관성과 스토리 완전성을 향상시켰다.