[논문 리뷰] Unsupervised Extraction of Video Highlights Via Robust Recurrent Auto-encoders

Huan Yang, Baoyuan Wang외 4명|arXiv (Cornell University)|2015. 10. 06.

Video Analysis and Summarization참고 문헌 31인용 수 26

한 줄 요약

이 논문은 웹에서 크롤링한 사용자 편집 영상 데이터를 기반으로 훈련된 강건한 순환 오토인코더(RRAE)를 사용하여 비지도 학습 방식의 영상 하이라이트 추출 방법을 제안한다. 편집 클립 간에 반복되는 하위 이벤트를 활용하고, 노이즈에 강건한 성질을 가지며, 양방향 LSTM을 사용해 시간적 패턴을 모델링함으로써 원시 영상 쌍이 필요 없이도 지도 학습 방법에 근접한 성능을 달성하며, 다양한 영상 도메인에 대해 뛰어난 일반화 능력을 보여준다.

ABSTRACT

With the growing popularity of short-form video sharing platforms such as \em{Instagram} and \em{Vine}, there has been an increasing need for techniques that automatically extract highlights from video. Whereas prior works have approached this problem with heuristic rules or supervised learning, we present an unsupervised learning approach that takes advantage of the abundance of user-edited videos on social media websites such as YouTube. Based on the idea that the most significant sub-events within a video class are commonly present among edited videos while less interesting ones appear less frequently, we identify the significant sub-events via a robust recurrent auto-encoder trained on a collection of user-edited videos queried for each particular class of interest. The auto-encoder is trained using a proposed shrinking exponential loss function that makes it robust to noise in the web-crawled training data, and is configured with bidirectional long short term memory (LSTM)~\cite{LSTM:97} cells to better model the temporal structure of highlight segments. Different from supervised techniques, our method can infer highlights using only a set of downloaded edited videos, without also needing their pre-edited counterparts which are rarely available online. Extensive experiments indicate the promise of our proposed solution in this challenging unsupervised settin

연구 동기 및 목표

• 원시 영상 쌍이 거의 확보되지 않는 상황에서 원시 영상 쌍이 없는 영상 하이라이트 추출 문제를 해결하기 위해.
• 소셜 미디어에서 풍부하게 확보된 사용자 편집된 짧은 영상들을 비지도 학습 데이터로 활용하기 위해.
• 하이라이트 하위 이벤트를 편집 영상 간에 반복적으로 나타나는 패턴으로 간주하고, 드물거나 특수한 클립은 이상치로 간주하기 위해.
• 노이즈가 많은 웹에서 크롤링한 학습 데이터에도 효과적으로 작동하는 강건한 학습 프레임워크를 개발하기 위해.
• 지침된 편집 쌍이 없는 상황에서 비지도 방법이 지도 학습 기법과 비교해 유사한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 영상 하이라이트 세그먼트의 시간적 의존성을 모델링하기 위해 양방향 LSTM 셀을 사용한 순환 오토인코더(RAE)를 사용한다.
• 학습 중에 노이즈가 많거나 이상치로 간주되는 학습 샘플의 영향을 줄이기 위해 새로운 수축형 지수 손실 함수를 도입한다.
• 입력 영상 스니펫을 정확하게 재구성하도록 오토인코더를 훈련시키며, 낮은 재구성 오차는 하이라이트일 가능성이 높다는 것을 의미한다.
• 특징은 C3D 네트워크를 사용해 추출한 후, 에너지의 90%를 유지하면서 차원을 감소시키기 위해 도메인별 주성분 분석(PCA)을 적용한다.
• 낮은 재구성 오차를 보이는 스니펫을 하이라이트로 식별하며, 이는 공통적인 하위 이벤트(하이라이트)가 특징 공간에서 군집화된다는 가정에 기반한다.
• 모델은 원본 편집되지 않은 영상 소스에 접근할 필요 없이, 다운로드한 편집된 영상들만으로 훈련된다.

실험 결과

연구 질문

• RQ1 웹에서 확보한 편집 영상들만을 사용하여 비지도 방식으로 영상 하이라이트를 효과적으로 식별할 수 있는가?
• RQ2 어떻게 하여 오토인코더를 웹에서 크롤링한 영상 데이터의 노이즈에 강건하게 만들 수 있는가?
• RQ3 양방향 LSTM을 통한 시간적 맥락 모델링이 하이라이트 검출 성능에 얼마나 기여하는가?
• RQ4 원시 영상 쌍이 확보되지 않은 상황에서 제안된 비지도 방법은 지도 학습 기반 기준과 어떻게 비교되는가?
• RQ5 사용자 편집 영상 간에 반복적으로 나타나는 하위 이벤트는 신뢰성 있게 주목할 만한 하이라이트 순간을 나타낼 수 있는가?

주요 결과

• 제안된 강건한 순환 오토인코더(RRAE)는 유튜브 데이터셋에서 mAP 0.434를 기록하며, 모든 도메인에서 표준 오토인코더, PCA, OCSVM보다 뛰어난 성능을 보였다.
• 양방향 LSTM의 통합으로 성능이 10% 이상 향상되어, mAP가 0.371에서 0.410으로 상승하였으며, 시간적 모델링의 중요성을 입증하였다.
• 수축형 지수 손실은 노이즈가 많은 데이터에 대한 강건성을 크게 향상시켜, 학습 중 이상치의 영향을 줄였다.
• 원시 영상 쌍에 접근할 수 없는 상황에서도, 비지도 RRAE는 Sun 등(2020)의 지도 학습 방법과 비교해 매우 유사한 성능을 기록하였으며, '강아지' 영상에서 mAP 0.60 대비 0.49, '서핑' 영상에서 0.61 대비 0.49로 작은 격차를 보였다.
• 수영, 파크르, 스케이팅, 스키 등 다양한 도메인에 대해 잘 일반화되며 일관된 성능을 보였다.