[논문 리뷰] Fast Video Object Segmentation using the Global Context Module

Yu Li, Zhuoran Shen외 1명|arXiv (Cornell University)|2020. 01. 30.

Visual Attention and Saliency Detection참고 문헌 43인용 수 8

한 줄 요약

이 논문은 실시간으로 고정밀도를 달성하는 반감독형 비디오 객체 세분화를 위한 새로운 글로벌 컨텍스트 모듈을 제안한다. 과거 모든 프레임의 고정 크기 특징 표현을 유지함으로써, DAVIS 및 YouTube-VOS 벤치마크에서 최신 기술을 초월하는 정확도를 달성하면서도 기존의 최신 기술인 공간-시간 메모리 네트워크(STM)보다 3배 빠르고 훨씬 메모리 효율성이 뛰어나다.

ABSTRACT

We developed a real-time, high-quality semi-supervised video object segmentation algorithm. Its accuracy is on par with the most accurate, time-consuming online-learning model, while its speed is similar to the fastest template-matching method with sub-optimal accuracy. The core component of the model is a novel global context module that effectively summarizes and propagates information through the entire video. Compared to previous approaches that only use one frame or a few frames to guide the segmentation of the current frame, the global context module uses all past frames. Unlike the previous state-of-the-art space-time memory network that caches a memory at each spatio-temporal position, the global context module uses a fixed-size feature representation. Therefore, it uses constant memory regardless of the video length and costs substantially less memory and computation. With the novel module, our model achieves top performance on standard benchmarks at a real-time speed.

연구 동기 및 목표

• 반감독형 비디오 객체 세분화에서 높은 정확도와 실시간 성능를 동시에 달성하는 데 도전한다.
• 비디오 길이에 비례해 선형적으로 증가하는 메모리 및 계산 비용을 가지는 기존의 공간-시간 메모리 네트워크의 효율성 문제를 해결한다.
• 모든 과거 프레임의 세분화 정보를 요약하는 고정 크기의 컴act한 글로벌 표현을 개발하여 현재 프레임 추론을 안내한다.
• 오염, 외관 변화, 크기 변화와 같은 조건에서도 오류 누적이나 메모리 오버플로우 없이 견고한 세분화를 보장한다.
• 장시간 비디오 및 지능형 비디오 편집과 같은 실생활 응용 분야에 적합한 실용적이고 구현 가능한 솔루션을 만든다.

제안 방법

• 모든 이전에 처리된 프레임의 세분화 정보를 요약하는 고정 크기의 특징 표현을 유지하는 글로벌 컨텍스트 모듈을 제안한다.
• 공부 가능한 키 메커니즘을 사용하여 공간적 위치에 대한 어텐션 맵을 생성하고, 가중치 합을 통해 특징을 집계하여 글로벌 컨텍스트 벡터를 형성한다.
• 매번 새로운 프레임이 도착할 때마다 글로벌 컨텍스트 표현을 점진적으로 업데이트함으로써, 비디오 길이에 관계없이 일정한 메모리와 계산량을 유지한다.
• 세분화 네트워크에 글로벌 컨텍스트 모듈을 통합하여 장기적인 시간적 컨텍스트를 활용해 프레임 단위 예측을 안내한다.
• 성능 향상을 위해 소프트 집합 후처리 모듈(주요 실험에서는 사용하지 않음)을 적용하였으며, 이는 제안된 방법과 호환된다.
• 표준 벤치마크(DAVIS 2016, DAVIS 2017, YouTube-VOS)와 표준 평가 지표(JIoU 및 F-measure)를 사용해 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 고정 크기의 글로벌 컨텍스트 표현이 비디오의 모든 과거 프레임으로부터의 세분화 지식을 효과적으로 캡처하고 전파할 수 있는가?
• RQ2 그러한 표현이 실시간 추론 속도와 낮은 메모리 사용을 유지하면서도 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ3 오염, 외관 변화, 크기 변화와 같은 도전적인 조건에서 이 방법의 성능는 어떠한가?
• RQ4 제안된 방법과 최신 기술인 STM 모델 간의 성능 격차는 무엇이며, 그 원인은 무엇인가?
• RQ5 YouTube-VOS와 같은 대규모 벤치마크에서 새로운 객체 카테고리에 대해 글로벌 컨텍스트 모듈이 잘 일반화되는가?

주요 결과

• 제안된 방법은 DAVIS 2016 벤치마크에서 최신 기술 수준의 성능를 달성하였으며, 평균 JIoU는 88.7%이고 F-measure는 89.5%로, 최고 성능를 기록한 온라인 학습 모델과 동일한 성능를 보였다.
• 더 도전적인 DAVIS 2017 및 YouTube-VOS 벤치마크에서 경쟁력 있는 결과를 기록하였으며, YouTube-VOS에서 평균 JIoU는 73.2, F-measure는 75.7로 상위 수준의 메서드 중 하나로 평가되었다.
• STM 기준 대비 약 3배 더 빠른 속도로 실행되었으며, 고정 크기의 특징 표현 덕분에 메모리 소비가 크게 감소하였다.
• STM과 제안된 방법 간의 성능 격차는 주로 STM이 더 부드러운 테스트 프로토콜을 사용하고, 본 연구에서 적용하지 않은 후처리 소프트 집합 모듈을 사용하기 때문이었다.
• 시각화 결과는 글로벌 컨텍스트 모듈이 비디오 전반에 걸쳐 배경 및 전경 패턴을 일관되게 캡처함을 확인하였으며, 오염 및 외관 변화에 대한 견고한 대처 능력을 보였다.
• YouTube-VOS에서 새로운 객체 카테고리에 대해 성능 저하가 거의 없이 우수한 일반화 능력을 보였다.