[논문 리뷰] RVOS: End-to-End Recurrent Network for Video Object Segmentation

Carles Ventura, Míriam Bellver외 4명|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|2019. 03. 13.

Visual Attention and Saliency Detection참고 문헌 36인용 수 37

한 줄 요약

RVOS는 공간 및 시간 도메인에서 작동하는 다중 객체 비디오 객체 분할을 위한 엔드-투-엔드 순환 아키텍처를 제시하여 포스트 프로세싱 없이 제로샷 및 원샷 VOS와 빠른 추론을 가능하게 한다.

ABSTRACT

Multiple object video object segmentation is a challenging task, specially for the zero-shot case, when no object mask is given at the initial frame and the model has to find the objects to be segmented along the sequence. In our work, we propose a Recurrent network for multiple object Video Object Segmentation (RVOS) that is fully end-to-end trainable. Our model incorporates recurrence on two different domains: (i) the spatial, which allows to discover the different object instances within a frame, and (ii) the temporal, which allows to keep the coherence of the segmented objects along time. We train RVOS for zero-shot video object segmentation and are the first ones to report quantitative results for DAVIS-2017 and YouTube-VOS benchmarks. Further, we adapt RVOS for one-shot video object segmentation by using the masks obtained in previous time steps as inputs to be processed by the recurrent module. Our model reaches comparable results to state-of-the-art techniques in YouTube-VOS benchmark and outperforms all previous video object segmentation methods not using online learning in the DAVIS-2017 benchmark. Moreover, our model achieves faster inference runtimes than previous methods, reaching 44ms/frame on a P100 GPU.

연구 동기 및 목표

• 포스트 프로세싱 없이 제로샷 및 원샷 비디오 객체 분할의 문제에 대응한다.
• 공간 및 시간 도메인에서 다중 객체를 처리하는 완전한 엔드-투-엔드 순환 아키텍처를 제안한다.
• 단일 프레임워크 내에서 제로샷과 원샷 VOS 간의 원활한 적응을 가능하게 한다.
• 온라인 미세조정 없이 DAVIS-2017 및 YouTube-VOS 벤치마크에서 경쟁력 있는 정확도를 달성한다.
• 이전 방법들에 비해 추론 속도가 더 빠름을 보여준다.

제안 방법

• 각 프레임에서 다중 해상도 특징을 추출하기 위해 ResNet-101 백본을 갖춘 인코더-디코더를 사용한다.
• 프레임 내 다중 객체 마스크를 예측하고 시간에 따라 일관된 객체 순서를 유지하기 위해 공간 재귀를 도입한다.
• ConvLSTM 블록을 통해 프레임 간 마스크 일관성을 각 객체에 대해 유지하기 위해 시간적 재귀를 도입한다.
• Equation 3에 따라 ConvLSTM 입력을 인코더 특징, 이전 마스크, 공간/시간 히든 상태에 조건화한다.
• 예측된 마스크를 첫 프레임의 실제 객체와 일치시키기 위해 소프트 IoU 비용이 있는 헝가리안 알고리즘을 공유한다.
• 초기 마스크에 의존하지 않음으로써 제로샷 VOS를 지원; 디코딩 중 이전 프레임의 마스크를 입력 채널로 제공하여 원샷 VOS를 지원한다.

실험 결과

연구 질문

• RQ1 완전한 엔드-투-엔드로 학습 가능한 모델이 제로샷과 원샷 시나리오 모두에서 포스트 프로세싱 없이 비디오의 다중 객체를 분할할 수 있는가?
• RQ2 공간 재귀와 시간 재귀를 함께 모델링하는 것이 공간 재귀만 또는 시간 재귀만 사용하는 것보다 VOS 성능을 향상시키는가?
• RQ3 온라인 학습 없이 제로샷 및 원샷 설정에서 표준 벤치마크(DAVIS-2017, YouTube-VOS)에서 RVOS의 성능은 어느가인가?
• RQ4 온라인 학습 방식과 비교했을 때 완전한 엔드-투-엔드 VOS 모델의 런타임 특성은 어떠한가?
• RQ5 프레임 간 다양한 객체 수와 객체 소멸을 모델이 어떻게 처리하는가?

주요 결과

모델	J_seen	J_unseen	F_seen	F_unseen
RVOS-Mask-S	54.7	37.3	57.4	42.4
RVOS-Mask-T	59.9	39.2	63.1	45.6
RVOS-Mask-ST	60.8	44.6	63.7	50.3
RVOS-Mask-ST+	63.1	44.5	67.1	50.4

• RVOS는 YouTube-VOS에서 경쟁력 있는 결과를 달성하고 DAVIS-2017에서 온라인 학습이 아닌 방법들을 능가한다(원샷 VOS).
• 공간-시간 재귀(RVOS-ST)는 일관되게 공간 전용(RVOS-S) 및 시간 전용(RVOS-T) 구성보다 원샷 및 제로샷 설정 모두에서 우수하다.
• 추정 마스크(RVOS-ST+)로 학습은 견고함을 제공하고 경우에 따라 실제 마스크만 학습보다 성능을 향상시킨다.
• 모델은 P100 GPU에서 프레임당 약 44 ms로 동작하여 비교 가능한 온라인 학습 방법들보다 빠르다.
• RVOS는 단일 프런트 패스에서 다중 객체를 처리할 수 있어 포스트 프로세싱을 피하고 프레임 간 객체 인덱스의 일관성을 유지한다.