[논문 리뷰] Video Highlights Detection and Summarization with Lag-Calibration based on Concept-Emotion Mapping of Crowd-sourced Time-Sync Comments

Qing Ping, Chaomei Chen|arXiv (Cornell University)|2017. 08. 07.

Video Analysis and Summarization인용 수 7

한 줄 요약

이 논문은 감정-개념 매핑과 지연 보정을 활용하여 커뮤니티 기반의 시간 동기화 댓글을 이용해 영상 하이라이트 검출 및 요약을 위한 새로운 프레임워크를 제안한다. 댓글의 지연, 노이즈, 주관성 문제를 해결하며, 감정-개념 집중도를 통해 샷 수준의 강렬도를 모델링하고, 개선된 SumBasic 알고리즘을 적용하여 하이라이트 검출 및 요약에서 벤치마크를 초월한다.

ABSTRACT

With the prevalence of video sharing, there are increasing demands for automatic video digestion such as highlight detection. Recently, platforms with crowdsourced time-sync video comments have emerged worldwide, providing a good opportunity for highlight detection. However, this task is non-trivial: (1) time-sync comments often lag behind their corresponding shot; (2) time-sync comments are semantically sparse and noisy; (3) to determine which shots are highlights is highly subjective. The present paper aims to tackle these challenges by proposing a framework that (1) uses concept-mapped lexical-chains for lag calibration; (2) models video highlights based on comment intensity and combination of emotion and concept concentration of each shot; (3) summarize each detected highlight using improved SumBasic with emotion and concept mapping. Experiments on large real-world datasets show that our highlight detection method and summarization method both outperform other benchmarks with considerable margins.

연구 동기 및 목표

• 영상 하이라이트 검출에서 발생하는 지연, 노이즈, 주관적인 커뮤니티 기반 시간 동기화 댓글 문제를 해결하기 위해.
• 어휘 사슬 기반의 개념 매핑을 사용하여 영상 샷과 해당 댓글 간의 시간 지연을 보정하기 위해.
• 각 샷당 감정과 개념 집중도를 통합하여 하이라이트 관련성을 모델링하기 위해.
• 감정 및 개념 기반 향상된 SumBasic를 적용하여 간결하고 정보적인 요약을 생성하기 위해.
• 통합된 의미적 및 시간적 모델링을 통해 실세계 영상 데이터셋에서 성능을 향상시키기 위해.

제안 방법

• 어휘 사슬 기반의 개념 매핑을 활용해 영상 샷과 댓글 간의 시간 지연을 식별하고 보정한다.
• 댓글 강렬도, 감정 집중도, 개념 밀도의 복합 점수를 통해 샷 수준의 하이라이트 잠재력을 모델링한다.
• 감정 및 개념 매핑을 적용하여 SumBasic 요약 알고리즘의 관련성과 일관성을 향상시킨다.
• 수동 레이블링 없이도 하이라이트 순간을 추론하기 위해 시간 동기화 댓글을 약한 지도 신호로 활용한다.
• 댓글과 영상 콘텐츠 간의 어휘 사슬 기반 개념을 정렬함으로써 댓글 타임스탬프를 보정한다.
• 감성 및 의미적 개념 분석을 통합하여 각 샷당 감정적 및 인지적 참여도를 정량화한다.

실험 결과

연구 질문

• RQ1 영상 샷과 커뮤니티 기반 댓글 간의 시간 지연을 하이라이트 검출에 효과적으로 보정할 수 있는가?
• RQ2 댓글 내 감정 및 개념 집중도가 하이라이트 적합한 영상 세그먼트를 얼마나 잘 예측할 수 있는가?
• RQ3 감정 강렬도와 의미적 풍부함을 통합한 하이브리드 지표가 기존 방법을 뛰어넘어 하이라이트 검출을 향상시킬 수 있는가?
• RQ4 감정 및 개념 기반 향상된 SumBasic는 표준 요약 기반 방법보다 영상 하이라이트에서 어떻게 우월한가?
• RQ5 댓글의 노이즈와 주관성은 하이라이트 검출에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 지연 보정 방법은 댓글과 해당 영상 샷 간의 정렬을 크게 향상시킨다.
• 감정과 개념 집중도의 조합은 개별 지표보다 강력한 하이라이트 관련성 예측 지표를 제공하며, 성능을 뛰어넘는다.
• 감정 및 개념 기반 향상된 SumBasic 방법은 기준 방법 대비 더 높은 ROUGE 점수를 기록한 요약을 생성한다.
• 실세계 데이터셋에서 프레임워크는 높은 성능 향상을 달성하며, 댓글 노이즈와 지연에 대해 뛰어난 강인성을 보여준다.
• 통계적으로 유의미한 간격으로 기존 벤치마크를 뛰어넘어 하이라이트 검출 및 요약 작업 양 측면에서 모두 성능을 향상시킨다.
• 실험 결과는 적절히 처리된 커뮤니티 기반 댓글이 자동 영상 요약을 위한 신뢰할 수 있는 신호를 제공함을 확인한다.