[논문 리뷰] The 2018 DAVIS Challenge on Video Object Segmentation

Sergi Caelles, Alberto Montes외 5명|arXiv (Cornell University)|2018. 03. 01.

Visual Attention and Saliency Detection참고 문헌 13인용 수 254

한 줄 요약

논문은 2018 DAVIS 챌린지를 반지도 주된 트랙과 새 interactive 스크림(teaser) 트랙으로 소개하며, 인터랙티브 베이스라인과 평가를 위한 시뮬레이티드 스크리블 프레임워크를 제시한다.

ABSTRACT

We present the 2018 DAVIS Challenge on Video Object Segmentation, a public competition specifically designed for the task of video object segmentation. It builds upon the DAVIS 2017 dataset, which was presented in the previous edition of the DAVIS Challenge, and added 100 videos with multiple objects per sequence to the original DAVIS 2016 dataset. Motivated by the analysis of the results of the 2017 edition, the main track of the competition will be the same than in the previous edition (segmentation given the full mask of the objects in the first frame -- semi-supervised scenario). This edition, however, also adds an interactive segmentation teaser track, where the participants will interact with a web service simulating the input of a human that provides scribbles to iteratively improve the result.

연구 동기 및 목표

• 2017년의 DAVIS 데이터세트 확장을 기반으로 비디오 객체 분할을 위한 공개 벤치마크를 동기 부여하고 구성한다.
• 첫 프레임 마스크를 사용하여 이후 모든 프레임을 분할하는 반지도 주된 트랙을 제공한다.
• 효율성-품질 트레이드오프를 연구하기 위해 시뮬레이티드 휴먼 인 루프를 갖춘 인터랙티브 세분화 티저 트랙을 소개한다.
• 현실적이고 사용자-인 루프 세분화 연구를 촉진하기 위해 평가 지표와 베이스라인을 제안한다.

제안 방법

• 더 풍부한 평가를 위해 시퀀스당 여러 객체를 갖는 100개의 비디오를 추가하여 DAVIS 2017 데이터세트를 확장한다.
• 첫 프레임에서 마스크를 사용하는 반지도 주된 트랙을 유지하면서 웹 서비스로 평가되는 인터랙티브 세분화 파이프라인을 추가한다.
• 시험 주석을 비공개로 유지하면서 확장 가능한 인터랙티브 평가를 가능하게 하기 위해 자동 로봇을 통해 인간의 스크리블을 시뮬레이션한다.
• 두 가지 인터랙티브 베이스라인을 제안한다: Scribble-OSVOS(스크리블로 도출된 라벨에서 미세 조정)와 Scribble-Linear(CNN 임베딩과 선형 분류기).
• 품질 및 속도 트랙 전반에서 지표로 J&F를 사용하여 상호작용 시간과 세분화 품질 간의 트레이드오프를 평가한다.

실험 결과

연구 질문

• RQ1 상호작용적이고 스크리블 기반의 감독이 품질 대비 시간 측면에서 전통적인 반지도 접근법과 어떻게 비교되는가?
• RQ2 시뮬레이티드 스크리블이 인터랙티브 비디오 객체 분할 베이스라인의 인간-인 루프 성능을 신뢰할 만큼 예측할 수 있는가?
• RQ3 스 크리블 감독으로 접근한 베이스라인 방법이 라벨링 노력을 줄이면서 완전 지도 학습 성능에 도달하는가?

주요 결과

• Scribble-OSVOS with scribble supervision reaches 57% J&F in 1200 seconds under full supervision, surpassing the full-supervision baseline in faster time.
• Scribble-OSVOS (using scribbles) achieves 39.26% J&F in 110 seconds for the DAVIS 2017 validation set, bypassing long retraining times.
• A simulated scribble generator yields conclusions similar to manually drawn scribbles for both baselines, supporting its use for scalable interactive evaluation.
• A faster Scribble-Linear baseline achieves comparable trends to Scribble-OSVOS, highlighting the viability of embedding-based interactive approaches.
• The experiments show interactive methods can reach or approach fully supervised performance with substantially less labeling time.