[논문 리뷰] Adaptive Video Highlight Detection by Learning from User History

Mrigank Rochan, Mahesh Kumar Krishna Reddy외 2명|arXiv (Cornell University)|2020. 07. 19.

Video Analysis and Summarization참고 문헌 54인용 수 4

한 줄 요약

이 논문은 사용자가 이전에 생성한 하이라이트 GIF 기록을 활용하여 개인화된 하이라이트 예측을 수행하는 사용자 적응형 비디오 하이라이트 검출 프레임워크인 Adaptive-H-FCSN을 제안한다. 사용자 기록을 인코딩한 바탕으로 동적으로 하이라이트 검출 네트워크를 조절하는 시간적 적응형 인스턴스 정규화(T-AIN) 레이어를 도입함으로써, 대규모 데이터셋에서 유의미하게 향상된 정확도와 개인화 성능을 달성하였으며, 일반화된 모델 및 이전의 적응형 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Recently, there is an increasing interest in highlight detection research where the goal is to create a short duration video from a longer video by extracting its interesting moments. However, most existing methods ignore the fact that the definition of video highlight is highly subjective. Different users may have different preferences of highlight for the same input video. In this paper, we propose a simple yet effective framework that learns to adapt highlight detection to a user by exploiting the user's history in the form of highlights that the user has previously created. Our framework consists of two sub-networks: a fully temporal convolutional highlight detection network $H$ that predicts highlight for an input video and a history encoder network $M$ for user history. We introduce a newly designed temporal-adaptive instance normalization (T-AIN) layer to $H$ where the two sub-networks interact with each other. T-AIN has affine parameters that are predicted from $M$ based on the user history and is responsible for the user-adaptive signal to $H$. Extensive experiments on a large-scale dataset show that our framework can make more accurate and user-specific highlight predictions.

연구 동기 및 목표

• 비디오 하이라이트의 주관성을 해결하기 위해 개인화된 사용자 선호도에 맞게 하이라이트 검출을 적응시키는 것.
• 사용자 특화된 관심사를 忽시하는 일반화된 하이라이트 검출 모델의 한계를 극복하는 것.
• 시각적 사용자 기록(이전에 생성한 GIF 하이라이트)을 효과적으로 활용해 적응형 예측을 수행하는 방법을 개발하는 것.
• 샷 경계 검출이 필요 없이 전체 비디오를 처리할 수 있는 계산 효율성이 높은 프레임워크를 설계하는 것.
• 학습된 하이라이트 검출 모델의 전이 가능성을 소규모 데이터셋에서의 비디오 요약에 대해 입증하는 것.

제안 방법

• 프레임워크는 두 개의 하위 네트워크로 구성된다: 완전한 시간적 컨volution 하이라이트 검출 네트워크(H)와 사용자 기록을 처리하는 기록 인코더 네트워크(M).
• 사용자 기록에 기반해 M에서 예측된 애페인 매개변수(γ 및 δ)를 사용하는 새로운 시간적 적응형 인스턴스 정규화(T-AIN) 레이어가 H에 도입된다.
• T-AIN 레이어를 통해 기록 인코딩된 임베딩을 사용해 특징 정규화를 조절함으로써, 사용자별로 맞춤형으로 적응하는 하이라이트 검출 네트워크를 가능하게 한다.
• 사전 계산된 샷 경계가 필요 없이 대규모 사용자 생성 하이라이트 GIF 데이터셋을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 기록 인코더 M은 사용자 기록의 여러 하이라이트 GIF를 처리하고, H의 T-AIN 레이어를 조절하기 위한 압축된 표현을 생성한다.
• 프레임 단위 샘플링을 피하고 전체 비디오를 처리함으로써 장기간의 시간적 종속성을 유지한다.

실험 결과

연구 질문

• RQ1 이전에 생성한 하이라이트 GIF 형태의 사용자 기록이 하이라이트 검출의 정확도와 개인화 수준을 향상시키는가?
• RQ2 제안된 T-AIN 레이어는 사용자 기록과 비디오 특징을 직접 연결하거나 조기 융합하는 것과 비교해 사용자 선호도를 모델링하는 데 어떻게 우월한가?
• RQ3 모델은 사용자 기록 크기에 얼마나 민감한가? 더 많은 기록 하이라이트가 성능 향상에 기여하는가?
• RQ4 대규모 사용자 생성 하이라이트 데이터셋에서 사전 훈련된 하이라이트 검출 모델이 소규모 데이터셋에서의 비디오 요약에 효과적으로 일반화되는가?
• RQ5 기존의 랭킹 기반 또는 세그먼트 수준의 접근 방식과 비교해 제안된 방법이 사용자 기반 정확도 및 계산 효율성 측면에서 뛰어나다는가?

주요 결과

• Adaptive-H-FCSN는 PHD-GIFs 데이터셋에서 16.73%의 F-스코어를 기록하여 일반화된 H-FCSN(15.04%) 및 H-FCSN-aggregate(15.73%) 모델보다 유의미하게 뛰어난 성능을 보였다.
• 사용자 기록에 하이라이트가 단 하나뿐이어도 Adaptive-H-FCSN는 일반화된 H-FCSN를 능가했으며, 최소한의 데이터로도 사용자 기록의 효과를 입증했다.
• Adaptive-H-FCSN의 성능은 기록 크기가 증가함에 따라 점진적으로 향상되며, 전체 기록을 사용할 경우 16.73%의 F-스코어에 도달하여 더 많은 사용자 데이터에 대해 강력한 확장성을 보였다.
• 특성 조정 없이도 SumMe 비디오 요약 데이터셋에서 최고 성능(44.4% F-스코어)을 기록했으며, SumMe에서 훈련이 필요한 지도 학습 방법보다 뛰어난 성능을 보였다.
• 제거 분석 결과 T-AIN은 직접 특징 융합 및 기타 정규화 전략보다 우수한 성능을 보였으며, 사용자 적응형 학습을 위한 설계의 타당성을 입증했다.