[논문 리뷰] Video Summarization with Long Short-term Memory

Ke Zhang, Wei‐Lun Chao외 2명|arXiv (Cornell University)|2016. 05. 26.

Video Analysis and Summarization참고 문헌 43인용 수 81

한 줄 요약

이 논문은 장기적인 시간적 의존성을 포착하고 중복 프레임 선택을 방지하기 위해 순차적 모델링과 다양성 정규화를 활용하는 LSTM 기반 모델인 vsLSTM와 dppLSTM을 제안한다. 이는 고품질의 비디오 요약을 생성하는 데 기여한다. 이 방법은 도메인 적응을 통해 이질적인 데이터셋을 결합함으로써 SumMe 및 TVSum 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel supervised learning technique for summarizing videos by automatically selecting keyframes or key subshots. Casting the problem as a structured prediction problem on sequential data, our main idea is to use Long Short-Term Memory (LSTM), a special type of recurrent neural networks to model the variable-range dependencies entailed in the task of video summarization. Our learning models attain the state-of-the-art results on two benchmark video datasets. Detailed analysis justifies the design of the models. In particular, we show that it is crucial to take into consideration the sequential structures in videos and model them. Besides advances in modeling techniques, we introduce techniques to address the need of a large number of annotated data for training complex learning models. There, our main idea is to exploit the existence of auxiliary annotated video datasets, albeit heterogeneous in visual styles and contents. Specifically, we show domain adaptation techniques can improve summarization by reducing the discrepancies in statistical properties across those datasets.

연구 동기 및 목표

• 비디오 요약에서 중요도가 변하는 시간적 의존성을 모델링하는 데 도전하는 것. 이는 의미적 스토리라인을 포착하는 데 핵심적이다.
• 인간이 애너테이션한 요약을 활용한 지도 학습을 통해 비디오 요약 성능을 향상시키는 것.
• 이종 비디오 데이터셋 간의 도메인 적응을 통해 대규모 애너테이션 데이터에 대한 의존도를 줄이는 것.
• LSTM과 함께 결정성 점 프로세스(DPP)를 통합하여 요약의 다양성과 대표성을 향상시키는 것.
• LSTM을 통한 순차적 모델링이 다층 퍼셉트론(MLP)과 같은 비순차적 기준 모델보다 현저히 뛰어나다는 것을 입증하는 것.

제안 방법

• 핵심 모델인 vsLSTM은 장기 기억 순환 신경망을 사용하여 비디오 프레임 간의 순차적 의존성을 인코딩하고, 장기적인 맥락 기반으로 프레임 중요도 점수를 예측하도록 학습한다.
• dppLSTM 모델은 LSTM과 결정성 점 프로세스(DPP)를 결합하여 프레임 간의 다양성을 명시적으로 모델링함으로써 유사한 시각적 특징을 가진 프레임의 중복 선택을 방지한다.
• 이 방법은 출력이 선택된 프레임 또는 서브샷을 나타내는 이진 벡터인 구조적 예측 문제로 간주한다.
• 도메인 적응은 시각적 특징을 데이터셋 간(예: SumMe와 TVSum) 선형적으로 변환하여 소스 도메인과 타겟 도메인 간의 통계적 차이를 줄이는 방식으로 적용된다.
• 모델는 인간이 애너테이션한 요약에 대한 지도 학습 손실을 사용하여 엔드 투 엔드로 훈련되며, 최적화는 F1 점수와 재현율에 중점을 둔다.
• 이 방법은 딥 네ural 네트워크에서 추출한 프레임 수준의 특징을 사용하며, LSTM이 시퀀스를 처리하여 각 프레임의 중요도 점수를 생성한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델은 비디오 요약에서 변동하는 범위의 시간적 의존성을 효과적으로 모델링할 수 있는가? 이는 비순차적 모델보다 성능 향상에 기여하는가?
• RQ2 선택된 프레임/서브샷의 다양성을 명시적으로 모델링하여 요약의 중복을 방지할 수 있는가?
• RQ3 이종 비디오 데이터셋을 활용함으로써 제한된 애너테이션 데이터에서 학습할 경우 도메인 적응 기법이 성능 향상에 기여하는가?
• RQ4 LSTM과 DPP를 결합하면 단독 LSTM 또는 MLP 기준 모델보다 더 대표적이면서 다양한 요약을 생성하는가?
• RQ5 다양한 시각적 스타일과 콘텐츠 복잡도를 가진 실제 비디오 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• dppLSTM 모델은 도메인 적응을 사용한 증강 설정에서 TVSum 데이터셋에서 59.7%의 F1 점수로 최신 기술 수준의 성능을 달성했다.
• SumMe 데이터셋에서는 도메인 적응을 사용한 증강 설정에서 44.7%의 F1 점수를 기록했으며, 이는 기준 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 도메인 적응을 적용한 모델은 SumMe에서 최대 2.5%의 F1 점수 향상을, TVSum에서는 1.8% 향상을 기록했으며, 적응 없이 학습한 경우에 비해 성능 향상을 보였다.
• dppLSTM는 MLP-Shot이 감지하지 못하는, 예를 들어 개의 귀를 긁는 행동 시퀀스와 같이 시간적으로 연속적이고 의미적으로 중요한 서브샷을 더 잘 포착했다.
• DPP가 중복을 방지하는 경향이 있음에도 불구하고, dppLSTM는 유사한 시각적 특징을 가진 여러 중요한 서브샷을 성공적으로 선택하여 다양성과 의미적 관련성 간의 균형을 잘 유지하는 능력을 보였다.
• 그림 5의 실패 사례는 dppLSTM이 급격히 변화하는, 농도가 높고 유사한 시각적 특징을 가진 장면에서 성능 저하를 보였음을 보여주며, 이는 과도한 중복 페널티로 인해 재현율이 떨어지기 때문이다.