[논문 리뷰] Textually Customized Video Summaries.

Jinsoo Choi, Tae-Hyun Oh외 1명|arXiv (Cornell University)|2017. 02. 06.

Video Analysis and Summarization참고 문헌 26인용 수 5

한 줄 요약

이 논문은 대규모 이미지-캡션 데이터로부터 학습된 시각적 임베딩을 활용하여 점진적이고 잔차형 딥 아키텍처를 통해 텍스트 기반으로 맞춤화된 비디오 요약을 생성하는 방법을 제안한다. 사용자가 제공한 텍스트 기술서를 바탕으로 모델은 의미적으로 관련성이 높은 비디오 세그먼트를 선택하고 시간적으로 정렬된 요약을 생성하며, 지식 기반 요약을 사용하는 기준 모델과 비교해도 성능이 유사하거나 이를 초월한다.

ABSTRACT

The best summary of a long video differs among different people due to its highly subjective nature. Even for the same person, the best summary may change with time or mood. In this paper, we introduce the task of generating customized video summaries through simple text. First, we train a deep architecture to effectively learn semantic embeddings of video frames by leveraging the abundance of image-caption data via a progressive and residual manner. Given a user-specific text description, our algorithm is able to select semantically relevant video segments and produce a temporally aligned video summary. In order to evaluate our textually customized video summaries, we conduct experimental comparison with baseline methods that utilize ground-truth information. Despite the challenging baselines, our method still manages to show comparable or even exceeding performance. We also show that our method is able to generate semantically diverse video summaries by only utilizing the learned visual embeddings.

연구 동기 및 목표

• 사용자 기반의 맞춤화를 통해 비디오 요약의 매우 주관적인 성격을 다루기 위해 텍스트 기술서를 활용한다.
• 점진적이고 잔차형 학습 전략을 사용하여 풍부한 이미지-캡션 데이터로부터 강력한 시각적 임베딩을 학습하는 딥 러닝 모델을 개발한다.
• 사용자가 제공한 텍스트 기술서에 의미적으로 관련성이 높은 시간적으로 정렬된 비디오 요약을 생성한다.
• 지식 기반 요약을 사용하는 도전적인 기준 모델과의 비교를 통해, 이러한 지식 기반 정보가 없음에도 불구하고 모델의 효과성을 입증한다.
• 학습된 시각적 표현만을 사용하여 의미적으로 다양한 요약을 생성할 수 있는 모델의 능력을 보여준다.

제안 방법

• 대규모 이미지-캡션 데이터를 사용하여 점진적이고 잔차형 방식으로 학습된 딥 아키텍처를 통해 비디오 프레임의 의미적 임베딩을 학습한다.
• 학습된 이 시각적 임베딩을 활용하여 사용자가 제공한 텍스트 기술서와 관련된 비디오 세그먼트를 매칭한다.
• 텍스트 기술서와 비디오 프레임 간의 유사도는 임베딩 공간 내의 의미적 유사도를 통해 계산된다.
• 입력 텍스트 기술서의 의미적 내용과 일치하는 시간적으로 일관성 있는 비디오 세그먼트를 선택한다.
• 추론 과정에서는 지식 기반 요약에 의존하지 않고, 오직 학습된 시각적 표현과 텍스트 입력에 의존한다.
• 입력 텍스트 기술서만을 변경하여 다양한 요약을 생성할 수 있도록 아키텍처를 설계하였다. 이는 지식 기반 애너테이션에 접근할 수 없음에도 불구하고 가능하다.

실험 결과

연구 질문

• RQ1 지식 기반 요약에 의존하지 않고도 사용자가 제공한 텍스트 기술서에 의미적으로 일치하는 비디오 요약을 생성할 수 있는가?
• RQ2 학습된 시각적 임베딩 공간은 텍스트와 비디오 콘텐츠 간의 의미적 관련성을 얼마나 효과적으로 포착하는가?
• RQ3 입력 텍스트 기술서만을 변경함으로써 모델이 다양한 개인화된 요약을 생성할 수 있는가?
• RQ4 지식 기반 정보를 사용하는 기준 모델과 비교했을 때 요약 품질 측면에서 이 방법은 어떻게 성과를 내는가?
• RQ5 점진적이고 잔차형 학습 전략은 비디오 요약을 위한 시각적 임베딩의 품질을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 지식 기반 요약을 사용하는 기준 모델과 유사하거나 이를 초월하는 성능을 달성하여 강력한 제로샷 일반화 능력을 입증한다.
• 입력 텍스트 기술서만을 변경함으로써 의미적으로 다양한 비디오 요약을 성공적으로 생성함으로써 효과적인 의미적 제어 능력을 보여준다.
• 학습된 시각적 임베딩은 텍스트와 비디오 간의 의미 관계를 효과적으로 포착하여 정확한 세그먼트 선택을 가능하게 한다.
• 점진적이고 잔차형 학습 전략은 시각적 임베딩의 품질을 향상시켜 최종 요약 성능을 향상시킨다.
• 추론 과정에서 어떤 애너테이션된 요약도 필요로 하지 않으며, 오직 학습된 표현과 사용자 텍스트에 의존한다.
• 시스템은 입력 텍스트 기술서의 의미적 콘텐츠와 일치하는 시간적으로 일관성 있는 요약을 생성한다.