[논문 리뷰] Video2GIF: Automatic Generation of Animated GIFs from Video

Michael Gygli, Yale Song외 1명|arXiv (Cornell University)|2016. 05. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 38

한 줄 요약

이 논문은 비디오에서 애니메이션 GIF를 자동으로 생성하기 위해 적합도를 기반으로 비디오 세그먼트를 순위 매기는 데 중점을 두고, 강력한 딥 랭킹 모델인 Video2GIF를 제안한다. 새로 개발한 적응형 Huber 손실과 10만 개의 사용자 생성 GIF 및 해당 비디오 원천을 포함한 대규모 데이터셋을 활용하여, GIF 적합도 순위 매기기에서 최신 기술을 초월하고 비디오 하이라이트 검출에 잘 일반화됨을 입증한다.

ABSTRACT

We introduce the novel problem of automatically generating animated GIFs from video. GIFs are short looping video with no sound, and a perfect combination between image and video that really capture our attention. GIFs tell a story, express emotion, turn events into humorous moments, and are the new wave of photojournalism. We pose the question: Can we automate the entirely manual and elaborate process of GIF creation by leveraging the plethora of user generated GIF content? We propose a Robust Deep RankNet that, given a video, generates a ranked list of its segments according to their suitability as GIF. We train our model to learn what visual content is often selected for GIFs by using over 100K user generated GIFs and their corresponding video sources. We effectively deal with the noisy web data by proposing a novel adaptive Huber loss in the ranking formulation. We show that our approach is robust to outliers and picks up several patterns that are frequently present in popular animated GIFs. On our new large-scale benchmark dataset, we show the advantage of our approach over several state-of-the-art methods.

연구 동기 및 목표

• 현재 정확한 타임스탬프 선택이 필요한 수작업 기반 GIF 생성 과정을 자동화한다.
• 사용자 생성 콘텐츠를 포함한 노이즈가 많은 실제 웹 데이터에서 GIF 적합도를 학습하는 데 도전한다.
• 다양한 콘텐츠 품질과 인기도를 반영할 수 있는 강력한 학습 프레임워크를 개발한다.
• 자동화된 GIF 생성 및 비디오 하이라이트 검출 연구를 지원하기 위한 대규모 벤치마크 데이터셋을 구축한다.
• 크로스-데이터셋 평가를 통해 모델이 비디오 하이라이트 검출과 같은 관련 작업으로 잘 일반화되는지 입증한다.

제안 방법

• 비디오 세그먼트의 시공간적 특징을 추출하기 위해 3D 컨volution 신경망(3D-CNNs)을 사용하여 표현 학습을 수행한다.
• 학습된 표현 기반으로 세그먼트 간의 적합도를 비교하여 GIF에 더 적합한 세그먼트를 학습하는 쌍별 랭킹 모델을 설계한다.
• 외곽치 및 노이즈가 많은 웹 데이터에 대한 강건성을 향상시키기 위해 랭킹 설정에 새로운 적응형 Huber 손실 함수를 도입한다.
• 콘텐츠 품질의 차이를 반영하기 위해 소셜 미디어 참여도 등 인기도 지표를 손실 함수에 직접 통합한다.
• 10만 개의 사용자 생성 GIF와 그에 해당하는 비디오 원천에서 유도된 50만 개 이상의 GIF 및 비-GIF 세그먼트 쌍을 기반으로 모델을 훈련한다.
• 문맥 특징(카테고리 레이블, 비디오 태그, 위치 특징 등)을 세그먼트 표현에 통합하지만, 성능 분석 결과 대부분의 문맥 정보는 세그먼트 특징 자체에 의해 이미 충분히 포괄됨을 확인했다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 수작업 선택에 의존하지 않고 비디오 세그먼트의 애니메이션 GIF 적합도를 자동으로 순위 매길 수 있는가?
• RQ2 웹 기반 사용자 생성 GIF에서 내재된 노이즈와 변동성에 대해 랭킹 모델을 어떻게 강건하게 만들 수 있는가?
• RQ3 다양한 GIF 콘텐츠로 훈련된 단일 글로벌 모델이 비디오 하이라이트 검출 작업으로 얼마나 잘 일반화되는가?
• RQ4 손실 함수에 인기도 지표를 통합하면 모델이 고품질 GIF 후보를 식별하는 데 성능 향상이 이루어지는가?
• RQ5 문맥 특징(예: 비디오 카테고리, 태그 등)이 GIF 적합도 예측 향상에 어떤 역할을 하는가?

주요 결과

• 적응형 Huber 손실을 사용하는 제안된 강력한 딥 랭크넷은 $l_1$, $l_2$, 분류 기반 손실과 비교해 순위 매기기 성능에서 뛰어나며, 특히 외곽치에 대한 강건성과 작은 마진 위반에 대한 효과적인 대처 덕분이다.
• 비디오 하이라이트 검출을 위한 크로스-데이터셋 평가에서 모델은 평균 평균 정확도(mAP) 46.4%를 달성하여 도메인 특화 랭킹 SVM 기반 베이스라인(37.9%)과 양 등 기반 비지도 오토에코더 방법(Yang et al., 41.2%)을 모두 능가한다.
• 다양하고 도메인에 특화되지 않은 GIF 데이터로 훈련된 단일 글로벌 모델임에도 불구하고, 정제된 하이라이트 데이터셋을 기반으로 다수의 카테고리 특화 모델을 훈련한 Sun et al. [35]의 성능과 경쟁 가능하다.
• 모델가 비디오 하이라이트 검출로 잘 일반화됨을 통해 GIF 적합도와 하이라이트 검출 간에 공통된 시각적 패턴이 존재함을 시사한다.
• 손실 함수에 인기도 기반 가중치를 통합함으로써 콘텐츠 품질과 소셜 미디어 참여도의 다양성을 반영하여 모델 성능 향상이 이루어졌다.
• 문맥 특징(카테고리, 태그, 위치 등)은 3D-CNN 세그먼트 표현이 이미 충분히 포괄하고 있기 때문에 추가 기여가 미미한 것으로 나타났으며, 이는 깊이 학습된 특징만으로도 효과적인 랭킹이 가능함을 시사한다.