[논문 리뷰] Unsupervised Object-Level Video Summarization with Online Motion Auto-Encoder

Yujia Zhang, Xiaodan Liang외 3명|arXiv (Cornell University)|2018. 01. 02.

Video Analysis and Summarization참고 문헌 7인용 수 6

한 줄 요약

이 논문은 비감독적이고 온라인 방식의 운동 자동에코더(online motion-AE)를 제안하여 비디오 스트림에서 객체 수준의 핵심 운동 클립을 식별하는 객체 수준의 비디오 요약을 수행한다. 시간적 운동 패턴을 학습하고 복원 손실을 요약 점수로 사용함으로써, 이 방법은 새로운 및 공개된 데이터셋에서 세분화된 및 프레임 수준의 비디오 요약 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised video summarization plays an important role on digesting, browsing, and searching the ever-growing videos every day, and the underlying fine-grained semantic and motion information (i.e., objects of interest and their key motions) in online videos has been barely touched. In this paper, we investigate a pioneer research direction towards the fine-grained unsupervised object-level video summarization. It can be distinguished from existing pipelines in two aspects: extracting key motions of participated objects, and learning to summarize in an unsupervised and online manner. To achieve this goal, we propose a novel online motion Auto-Encoder (online motion-AE) framework that functions on the super-segmented object motion clips. Comprehensive experiments on a newly-collected surveillance dataset and public datasets have demonstrated the effectiveness of our proposed method.

연구 동기 및 목표

• 대상 객체와 그들의 핵심 운동을 모두 포괄하는 세분화된 비감독적 비디오 요약의 부족을 해결한다.
• 성장하는 비디오 스트림의 실시간 처리에 적합한 온라인이고 확장 가능한 비디오 요약을 가능하게 한다.
• 감독 없이도 운동 특징을 동시에 학습하고 주목할 만한 객체 운동 클립을 식별하는 방법을 개발한다.
• 감시 시나리오에서 객체 수준의 비디오 요약을 평가하기 위한 벤치마크 데이터셋을 제공한다.

제안 방법

• 운동 신호를 기반으로 한 슈퍼세그멘테이션을 통해 온라인으로 순차적으로 비디오 시퀀스를 처리하고, 객체 운동 클립을 추출한다.
• 객체 운동 클립에서 시간적 운동 표현을 학습하기 위해 스택형 희소 LSTM 자동에코더를 적용한다.
• 자동에코더의 복원 오차를 핵심 운동 클립을 식별하기 위한 요약 점수의 대체 지표로 사용한다.
• 실시간으로 새로운 클립을 지속적으로 업데이트함으로써, 운동 패턴의 동적 메모리처럼 행동하는 온라인 사전 학습을 모방한다.
• 핵심 객체 운동 클립을 프레임 수준 요약으로 집계하여, 이 방법을 프레임 수준 요약으로 확장한다.
• 자동에코더에 입력하기 전에 운동 표현 추출을 위해 사전 학습된 ResNet152 특징을 활용한다.

실험 결과

연구 질문

• RQ1 비감독적이고 온라인 방법이 비디오에서 가장 주목할 만한 이벤트를 대표하는 핵심 객체 운동 클립을 효과적으로 식별할 수 있는가?
• RQ2 제안된 온라인 운동-AE 모델은 감시 및 액션 비디오를 포함한 다양한 비디오 도메인에 대해 얼마나 잘 일반화되는가?
• RQ3 핵심 객체 운동이 프레임 수준 비디오 요약 성능에 어느 정도 기여하는가?
• RQ4 딥 자동에코더의 복원 오차가 비디오 요약을 위한 신뢰할 수 있는 자기지도 신호로 기능할 수 있는가?

주요 결과

• 제안된 온라인 운동-AE는 프레임 수준 비디오 요약 작업에서 SumMe 및 TVSum 데이터셋 모두에서 기존 비감독 기반 베이스라인보다 뛰어난 성능을 보였다.
• 신규로 수집한 OrangeVille 감시 데이터셋에서, 이 방법은 뛰어난 주관적 평가 점수를 달성했으며, 15명의 인간 평가자 간 일관된 평가가 이루어졌다.
• 비디오 요약의 핵심 요소로 객체 운동이 차지하는 비중이 크기 때문에, 이 방법과 베이스라인 간 성능 격차는 세분화된 작업에 비해 프레임 수준 데이터셋에서는 더 작다.
• 사용자 연구에서 이 방법은 뛰어난 강건성과 일관성을 보였으며, 경쟁 모델보다 인간 평가 점수의 분산이 더 낮았다.
• 스택형 희소 LSTM 자동에코더는 정보가 풍부한 시간적 운동 패턴을 효과적으로 포착하여 핵심 운동 클립의 정확한 식별을 가능하게 했다.
• 자동에코더의 복원 손실은 비감독적 요약 점수의 신뢰할 수 있는 대체 지표로 기능하여, 감독 없이도 엔드 투 엔드 학습이 가능하게 했다.