[논문 리뷰] FEELVOS: Fast End-to-End Embedding Learning for Video Object Segmentation

Paul Voigtlaender, Yuning Chai외 4명|arXiv (Cornell University)|2019. 02. 25.

Visual Attention and Saliency Detection참고 문헌 36인용 수 27

한 줄 요약

FEELVOS는 첫 번째 프레임의 미세조정 없이 픽셀 단위 임bedding을 학습하는 빠르고 엔드 투 엔드(end-to-end) 비디오 객체 세분화 방법을 제안한다. 동적 세분화 헤드의 내부 가이던스로 첫 번째 프레임에 대한 전역 매칭과 이전 프레임에 대한 국소 매칭을 사용하며, 실시간 추론 속도로 DAVIS 2017 검증 세트에서 71.5% J&F의 새로운 SOTA 성능을 달성한다.

ABSTRACT

Many of the recent successful methods for video object segmentation (VOS) are overly complicated, heavily rely on fine-tuning on the first frame, and/or are slow, and are hence of limited practical use. In this work, we propose FEELVOS as a simple and fast method which does not rely on fine-tuning. In order to segment a video, for each frame FEELVOS uses a semantic pixel-wise embedding together with a global and a local matching mechanism to transfer information from the first frame and from the previous frame of the video to the current frame. In contrast to previous work, our embedding is only used as an internal guidance of a convolutional network. Our novel dynamic segmentation head allows us to train the network, including the embedding, end-to-end for the multiple object segmentation task with a cross entropy loss. We achieve a new state of the art in video object segmentation without fine-tuning with a J&F measure of 71.5% on the DAVIS 2017 validation set. We make our code and models available at https://github.com/tensorflow/models/tree/master/research/feelvos.

연구 동기 및 목표

• 기존 비디오 객체 세분화(VOS) 방법의 실용적 한계를 해결한다: 속도가 느리며, 첫 번째 프레임의 미세조정이 필요하거나 너무 복잡하다.
• 간단하고 빠르며 엔드 투 엔드로 훈련 가능하고 뛰어난 성능을 내는 VOS 방법을 개발한다.
• 미세조정이 필요 없고 추론 복잡도를 줄여 실시간 배포를 가능하게 한다.
• 작업 특화 적응 없이도 다수의 객체와 다양한 비디오 시퀀스에 잘 일반화되는 방법을 설계한다.

제안 방법

• 교차 엔트로피 손실을 사용하여 의미적 픽셀 단위 임베딩과 세분화 마스크를 동시에 학습하는 단일 단계, 엔드 투 엔드로 훈련 가능한 네트워크를 제안한다.
• 현재 프레임의 임베딩과 첫 번째 프레임의 임베딩 간의 전역 매칭을 통해 장거리 컨텍스트를 전달한다.
• 공간적 윈도우 내에서 현재 프레임과 이전 프레임의 임베딩 간 국소 매칭을 적용하여 시간적 일관성을 유지한다.
• 백본 특징과 이전 프레임 예측 결과를 전역 및 국소 거리 지도와 통합하여 동적 세분화 헤드를 구성한다.
• 입력 특징에 따라 커널을 동적으로 조정하는 동적 컨볼루션 헤드를 활용하여 다중 소스 신호의 효과적 융합을 가능하게 한다.
• 세그멘테이션 마스크에 대한 표준 감독만을 사용하여, 미세조정 없이 전체 시스템을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 첫 번째 프레임의 미세조정 없이도 비디오 객체 세분화 모델이 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ2 최종 예측이 아닌 세분화 과정의 내부 가이던스로 사용하는 임베딩 기반 매칭(첫 번째 프레임에 대한 전역 매칭, 이전 프레임에 대한 국소 매칭)은 얼마나 효과적인가?
• RQ3 첫 번째 프레임의 전역 매칭, 이전 프레임의 국소 매칭, 이전 프레임 예측의 세 가지 요소가 세분화 정확도 향상에 기여하는 상대적 기여도는 각각 얼마인가?
• RQ4 단일 네트워크 아키텍처가 복잡한 다중 네트워크 파이프라인을 능가할 수 있으며, 동시에 실시간 추론 속도를 유지할 수 있는가?

주요 결과

• FEELVOS는 첫 번째 프레임의 미세조정 없이 DAVIS 2017 검증 세트에서 71.5% J&F 점수로 새로운 SOTA 성능을 달성한다.
• 제거 실험 결과, 이전 프레임의 국소 매칭을 비활성화하면 성능이 약 5% 감소함을 확인하여, 시간적 일관성 유지를 위한 핵심 기여를 한다는 점을 입증한다.
• 이전 프레임의 매칭과 예측을 모두 제거하면 성능이 52.6%로 떨어지며, 시간적 전파 메커니즘이 매우 중요하다는 점을 보여준다.
• 국소 매칭이 전역 매칭보다 훨씬 효과적임을 확인하였으며, 국소 매칭을 전역 매칭으로 대체할 경우 성능이 4.9% 감소한다.
• 첫 번째 프레임의 전역 매칭은 성능 향상에 크게 기여하며, 이는 이전 프레임 매칭 초기화 목적으로만 사용되더라도 13%의 J&F 점수 감소를 유발함을 보여준다.
• 전역 매칭(첫 번째 프레임), 국소 매칭(이전 프레임), 이전 프레임 예측의 조합이 가장 우수한 성능을 내며, 이들이 상호 보완적임을 확인한다.