[논문 리뷰] ElasticPlay: Interactive Video Summarization with Dynamic Time Budgets

Haojian Jin, Yale Song외 1명|arXiv (Cornell University)|2017. 08. 23.

Video Analysis and Summarization참고 문헌 34인용 수 5

한 줄 요약

ElasticPlay는 재생 중 시간 예산을 동적으로 조정할 수 있도록 허용하는 상호작용형 비디오 요약 시스템을 소개한다. 이는 선택적 빠른 재생과 장면 건너뛰기를 통해 실시간으로 비디오 콘텐츠를 최적화함으로써 이해도를 극대화한다. Cut-and-Forward (CaF) 알고리즘은 0/1 배낭 문제의 변종으로 이 문제를 수식화하여 시간 제약 조건 하에서 이해도를 극대화한다. 이는 TVSum50에서 기존 방법들을 능가하며, 연구에서 강력한 사용자 선호도를 보였다.

ABSTRACT

Video consumption is being shifted from sit-and-watch to selective skimming. Existing video player interfaces, however, only provide indirect manipulation to support this emerging behavior. Video summarization alleviates this issue to some extent, shortening a video based on the desired length of a summary as an input variable. But an optimal length of a summarized video is often not available in advance. Moreover, the user cannot edit the summary once it is produced, limiting its practical applications. We argue that video summarization should be an interactive, mixed-initiative process in which users have control over the summarization procedure while algorithms help users achieve their goal via video understanding. In this paper, we introduce ElasticPlay, a mixed-initiative approach that combines an advanced video summarization technique with direct interface manipulation to help users control the video summarization process. Users can specify a time budget for the remaining content while watching a video; our system then immediately updates the playback plan using our proposed cut-and-forward algorithm, determining which parts to skip or to fast-forward. This interactive process allows users to fine-tune the summarization result with immediate feedback. We show that our system outperforms existing video summarization techniques on the TVSum50 dataset. We also report two lab studies (22 participants) and a Mechanical Turk deployment study (60 participants), and show that the participants responded favorably to ElasticPlay.

연구 동기 및 목표

• 정적 비디오 요약의 한계를 해결하기 위해, 최적의 요약 길이가 사전에 알려져 있지 않은 경우를 대비한다.
• 재생 중 사용자 맥락과 콘텐츠 품질의 변화에 따라 적응 가능한 실시간, 사용자 주도의 요약을 가능하게 한다.
• 직접 조작(시간 예산 슬라이더)과 자동화된 비디오 이해를 융합하여 혼합 주도 인터페이스를 구현한다.
• 선택적 빠른 재생과 장면 선택을 통합하여 요약 품질을 향상시키고, 사용자 이해도를 최적화한다.
• 통제된 실험실 연구와 대규모 배포를 통해 시스템의 사용성, 투명성 및 효과성을 평가한다.

제안 방법

• 사용자는 시간 예산 슬라이더를 통해 나머지 비디오 콘텐츠에 할애하고자 하는 시간을 지정한다.
• Cut-and-Forward (CaF) 알고리즘은 요약하고자 하는 장면을 선택하고 재생 속도를 할당하여 이해도를 극대화하는 최적화 문제로 비디오 요약을 수식화한다.
• 알고리즘은 0/1 배낭 문제의 변종을 사용하며, 항목은 이해도 향상과 시간 소모가 관련된 비디오 장면이다.
• 이해도 향상은 심리학에서 제시된 WF-법칙을 활용하여 재생 속도와 이해 속도의 관계를 모델링한다.
• 시스템은 실시간으로 최적의 재생 계획을 계산하여, 어떤 장면을 건너뛸지, 빠르게 재생할지, 또는 정상 속도로 재생할지 조정한다.
• 스냅샷과 투명도 표시 기능을 갖춘 장면별 시각화는 요약 전략에 대한 즉각적인 피드백을 제공한다.

실험 결과

연구 질문

• RQ1 동적 시간 예산 기능이 정적 또는 사전 계산된 요약에 비해 비디오 요약에서 사용자 제어력과 만족도를 어떻게 향상시키는가?
• RQ2 실시간 피드백이 포함된 혼합 주도 인터페이스가 요약 과정에 대한 사용자 이해도를 향상시키는가?
• RQ3 선택적 빠른 재생과 장면 선택을 융합한 방법이 전통적인 0/1 배낭 문제 기반 요약보다 이해도 및 사용자 선호도 측면에서 뛰어나게 되는가?
• RQ4 사용자는 비디오 시청 중 콘텐츠 품질과 맥락 변화에 따라 시간 예산 설정 방식을 어떻게 조정하는가?
• RQ5 시스템의 투명성과 실시간 조정 기능이 사용자 인식 제어력과 사용성 향상에 얼마나 기여하는가?

주요 결과

• ElasticPlay는 TVSum50 데이터셋에서 기존 비디오 요약 기법들보다 요약 정확도에서 뛰어난 성능을 보였다.
• 22명의 참가자가 참여한 실험실 연구에서, 사용자들은 ElasticPlay의 유용성에 대해 높은 만족도(평균 점수 µ = 7.8)를 보였으며, 요약 과정 이해에 도움이 된다고 평가했다(µ = 6.6).
• 60명의 참가자가 참여한 Mechanical Turk 배포 실험에서는 사용자들이 시스템을 유용하다고 평가했다(µ = 6.13), 다시 사용하고 싶다고 응답했다(µ = 6.27), 투명성도 높이 평가했다(µ = 7.73).
• 참가자들은 콘텐츠가 덜 중요하거나 지루하다고 느낄 경우 시간 예산 슬라이더를 적극적으로 조정하는 방식으로 적응했다.
• 장면별 시각화는 요약 전략 이해에 도움이 된다고 평가되었으며, 일부 사용자는 상호작용 중에 화면에 오버레이로 표시해 달라고 요청했다.
• 즉각적인 피드백과 실시간 조정 기능은 사용자 선호도의 핵심 요소였으며, 중요한 콘텐츠를 놓칠 염려를 줄이는 데 기여했다.