[논문 리뷰] YouTube-VOS: A Large-Scale Video Object Segmentation Benchmark

Ning Xu, Linjie Yang외 5명|arXiv (Cornell University)|2018. 09. 06.

Visual Attention and Saliency Detection참고 문헌 26인용 수 302

한 줄 요약

large-scale YouTube-VOS 데이터셋을 도입하고 검증 세트에서 여러 최첨단 방법을 벤치마킹하여 baselines를 확립하고 일반화 분석을 수행한다.

ABSTRACT

Learning long-term spatial-temporal features are critical for many video analysis tasks. However, existing video segmentation methods predominantly rely on static image segmentation techniques, and methods capturing temporal dependency for segmentation have to depend on pretrained optical flow models, leading to suboptimal solutions for the problem. End-to-end sequential learning to explore spatialtemporal features for video segmentation is largely limited by the scale of available video segmentation datasets, i.e., even the largest video segmentation dataset only contains 90 short video clips. To solve this problem, we build a new large-scale video object segmentation dataset called YouTube Video Object Segmentation dataset (YouTube-VOS). Our dataset contains 4,453 YouTube video clips and 94 object categories. This is by far the largest video object segmentation dataset to our knowledge and has been released at http://youtube-vos.org. We further evaluate several existing state-of-the-art video object segmentation algorithms on this dataset which aims to establish baselines for the development of new algorithms in the future.

연구 동기 및 목표

• 비디오 객체 분할을 위한 장기 시공간 특성의 엔드-투-엔드 학습의 필요성을 기존의 소규모 데이터셋 한계 때문에 자극한다.
• 동적 학습과 평가를 가능하게 하기 위해 YouTube 비디오에서 대규모의 다양하고 포괄적인 데이터셋을 생성한다.
• 미지의 카테고리에 대한 일반화 및 향후 연구를 위한 베이스라인 성능을 확립하기 위한 벤치마크를 제공한다.

제안 방법

• YouTube의 94개 카테고리에 걸친 대규모 비디오 객체 분할 데이터셋을 구축하고 매 다섯 프레임마다 밀집 주석(600 fps 샘플링 아님)을 달아(Youtube에서 6 fps 샘플링) 제공합니다.
• 시간 연속성을 유지하면서 주석을 확장하기 위한 스킵 프레임 주석 전략을 활용합니다.
• 일관된 설정하에 YouTube-VOS 학/검증 분할에서 여러 최첨단 비디오 객체 분할 방법을 평가합니다.
• 학습된 모델이 Seen vs Unseen 카테고리에 따라 일반화되는지 분석합니다.
• 온라인 학습 및 장기 시공간 모델링의 분할 성능에 대한 베이스라인 결과 및 시사점을 제공합니다.

실험 결과

연구 질문

• RQ1 대규모 YouTube 기반 데이터셋이 작은 벤치마크와 비교하여 비디오 객체 분할 모델의 학습에 어떤 영향을 미치는가?
• RQ2 Seen 카테고리와 Unseen 카테고리 간 성능 차이는 무엇이며 온라인 학습은 일반화에 어떤 영향을 미치는가?
• RQ3 YouTube-VOS에서 장기 시공간 모델은 정적 이미지 기반 접근법과 어떻게 비교되는가?
• RQ4 YouTube-VOS 검증 세트에서 방법 간 추론 속도와 정확도 간의 트레이드오프는 무엇인가?

주요 결과

• YouTube-VOS는 4,453개의 비디오와 94개 객체 카테고리에서 197,272개의 주석을 가진 현재까지의 최대 VOS 데이터셋이다.
• 시퀀스-투-시퀀스 모델(S2S)은 시간적 일관성으로 인해 정적 이미지 방법보다 우수하며, 특히 온라인 학습(OL)을 사용할 때 그렇다.
• YouTube-VOS의 극단적 외관 변화와 복잡한 모션으로 인해 OnAVOS는 DAVIS 벤치마크에서 기대만큼의 성능을 내지 못한다.
• 미지의 카테고리에서 모든 방법의 성능은 감소하지만 OSVOS는 대규모 이미지 사전 학습의 이점을 보여 상대적으로 작은 감소를 보인다.
• 추론 속도 최적화 방법(OSMN, S2S w/o OL)은 OL 변형보다 정확도가 낮은 대신 실시간 가능성을 제공한다.