[논문 리뷰] YouTube-VOS: Sequence-to-Sequence Video Object Segmentation

Ning Xu, Linjie Yang외 7명|arXiv (Cornell University)|2018. 09. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 20

한 줄 요약

이 논문은 3,252개의 YouTube 클립과 78개의 카테고리로 구성된, 현재까지 가장 큰 비디오 객체 세분화 데이터셋인 YouTube-VOS를 소개하며, 장기적인 시공간 모델링을 위한 엔드 투 엔드 시퀀스-투-시퀀스 학습을 가능하게 한다. 제안된 방법은 사전 학습된 광학 흐름 또는 운동 모델에 의존하지 않고 직접 시간적 의존성을 학습하는 컨volutional LSTM 기반의 시퀀스-투-시퀀스 네트워크를 사용하여 YouTube-VOS에서 최고 성능을 달성하고, DAVIS 2016에서도 경쟁적인 성능을 보였다.

ABSTRACT

Learning long-term spatial-temporal features are critical for many video analysis tasks. However, existing video segmentation methods predominantly rely on static image segmentation techniques, and methods capturing temporal dependency for segmentation have to depend on pretrained optical flow models, leading to suboptimal solutions for the problem. End-to-end sequential learning to explore spatial-temporal features for video segmentation is largely limited by the scale of available video segmentation datasets, i.e., even the largest video segmentation dataset only contains 90 short video clips. To solve this problem, we build a new large-scale video object segmentation dataset called YouTube Video Object Segmentation dataset (YouTube-VOS). Our dataset contains 3,252 YouTube video clips and 78 categories including common objects and human activities. This is by far the largest video object segmentation dataset to our knowledge and we have released it at https://youtube-vos.org. Based on this dataset, we propose a novel sequence-to-sequence network to fully exploit long-term spatial-temporal information in videos for segmentation. We demonstrate that our method is able to achieve the best results on our YouTube-VOS test set and comparable results on DAVIS 2016 compared to the current state-of-the-art methods. Experiments show that the large scale dataset is indeed a key factor to the success of our model.

연구 동기 및 목표

• 엔드 투 엔드로 장기적인 시공간 특징을 학습하는 데에 장애가 되는 대규모 비디오 세분화 데이터셋의 부족을 해결하기 위해.
• 기존의 비디오 객체 세분화 방법들이 사전 학습된 광학 흐름 또는 운동 모델에 의존하는 데서 비롯되는 한계를 극복하기 위해.
• 장기적인 시간적 의존성을 완전히 활용하는 새로운 시퀀스-투-시퀀스 딥 러닝 프레임워크를 개발하여 정확한 객체 세분화를 실현하기 위해.
• 데이터셋 규모가 모델 성능에 미치는 영향을 평가하고, 견고한 비디오 세분화 모델을 훈련하기 위해 대규모 데이터의 필요성을 입증하기 위해.

제안 방법

• 비디오 프레임 간의 장기적인 시공간 특징을 모델링하기 위해 컨volutional LSTM(ConvlSTM)을 사용하는 시퀀스-투-시퀀스 네트워크를 제안한다.
• 각 시간 단계에서 ConvlSTM은 인코딩된 이미지 프레임과 이전 히든 상태를 입력으로 받아 마스크 디코딩을 위한 업데이트된 시공간 특징을 생성한다.
• 첫 번째 프레임의 RGB 이미지와 객체 마스크에서 초기 히든 상태를 생성하기 위해 VGG-16 기반의 이니셜라이저를 사용한다.
• 훈련 중에 교사 강제(teacher forcing) 전략을 적용하여 이전 프레임의 진짜 마스크를 입력으로 사용함으로써 오류 누적이 방지하고, 이후 자율 학습 추론으로 전환한다.
• 효과성을 평가하기 위해 이니셜라이저를 직접 마스크 입력으로 대체한 변형을 도입했으며, 성능 저하가 발생하는 것으로 나타났다.
• 훈련 안정성과 성능 향상을 위해 RGB 프레임과 이전 프레임의 예측 마스크를 모두 입력으로 사용하는 인코더 변형을 탐색하였다.

실험 결과

연구 질문

• RQ1 대규모 비디오 세분화 데이터셋은 엔드 투 엔드 시퀀스-투-시퀀스 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 사전 학습된 광학 흐름 모델에 의존하지 않고도 ConvlSTM 기반의 시퀀스-투-시퀀스 네트워크가 장기적인 시공간 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 훈련 데이터 규모가 비디오 객체 세분화 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 학습된 초기 히든 상태보다 직접 마스크 초기화 또는 마스크 정보를 반영한 인코딩이 세분화 정확도를 향상시킬 수 있는가?
• RQ5 교사 강제와 커리큘럼 학습 전략의 조합이 훈련 안정성과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 시퀀스-투-시퀀스 모델은 YouTube-VOS 테스트 세트에서 평균 재현율 지수(J) 60.9%와 F-측정치 64.2%를 달성하여 기존 최고 성능 모델을 초월했다.
• DAVIS 2016 벤치마크에서 최고 성능 모델과 비교해도 경쟁적인 성능을 보이며, 뛀난 일반화 능력을 입증했다.
• YouTube-VOS 훈련 데이터의 25%만으로 훈련할 경우 성능이 30% 감소하여 데이터셋 규모의 결정적 역할을 확인했다.
• YouTube-VOS 데이터의 100%로 훈련한 모델는 성능 포화가 나타나지 않아 더 큰 데이터로 성능 향상이 가능할 것임을 시사했다.
• 미리 보지 않은 카테고리에 대해서도 우수한 일반화 성능를 보이며, 미리 보지 않은 카테고리에서 Jaccard 지수 60.7%를 기록하여 일반 객체 특징을 효과적으로 학습했다.
• 이니셜라이저를 직접 마스크 입력으로 대체할 경우 성능이 J 45.1%로 떨어져, 마스크만으로는 초기화에 충분한 표현 능력을 갖추지 못함을 확인했다.