[논문 리뷰] Region Aware Video Object Segmentation with Deep Motion Modeling

Bo Miao, Mohammed Bennamoun외 2명|arXiv (Cornell University)|2022. 07. 21.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 경량 객체 운동 추적기(OMT)를 사용해 효율적인 객체 수준 분할을 위한 관심 영역(ROIs)을 예측하고, 중복된 특징 저장을 줄이기 위해 운동 경로 메모리(MPM) 모듈을 도입한 빠르고 정확한 준감독형 비디오 객체 분할(RAVOS) 방법을 제안한다. RAVOS는 DAVIS에서 42 FPS에서 86.1 J&F, YouTube-VOS에서 23 FPS에서 84.4 J&F의 SOTA 성능을 달성하며, 정확도와 추론 속도에서 이전 방법들을 크게 앞서며 메모리 사용량을 1.9배 줄였다.

ABSTRACT

Current semi-supervised video object segmentation (VOS) methods usually leverage the entire features of one frame to predict object masks and update memory. This introduces significant redundant computations. To reduce redundancy, we present a Region Aware Video Object Segmentation (RAVOS) approach that predicts regions of interest (ROIs) for efficient object segmentation and memory storage. RAVOS includes a fast object motion tracker to predict their ROIs in the next frame. For efficient segmentation, object features are extracted according to the ROIs, and an object decoder is designed for object-level segmentation. For efficient memory storage, we propose motion path memory to filter out redundant context by memorizing the features within the motion path of objects between two frames. Besides RAVOS, we also propose a large-scale dataset, dubbed OVOS, to benchmark the performance of VOS models under occlusions. Evaluation on DAVIS and YouTube-VOS benchmarks and our new OVOS dataset show that our method achieves state-of-the-art performance with significantly faster inference time, e.g., 86.1 J&F at 42 FPS on DAVIS and 84.4 J&F at 23 FPS on YouTube-VOS.

연구 동기 및 목표

• 기존 메모리 기반 비디오 객체 분할(VOS) 방법에서 전체 프레임을 처리해 발생하는 높은 계산 중복 문제를 해결하기 위해.
• 정확도를 훼손하지 않으면서도 추론 속도를 향상시키고 메모리 사용량을 줄이기 위해, 특히 가림현상과 같은 어려운 상황에서도 유지를 위해.
• 관심 영역에 초점을 맞춘 추적 및 분할 프레임워크를 개발하여 배경 처리를 최소화하기 위해.
• 가림 조건 하에서 VOS 모델을 평가하기 위해 특별히 설계된 대규모 새로운 벤치마크 데이터셋 OVOS를 구축하기 위해.
• 속도, 정확도, 메모리 효율성의 균형을 맞춘 새로운 효율적인 준감독형 VOS 기반선을 설정하기 위해.

제안 방법

• 경우의 수치적 특징만을 사용해 과거 프레임의 위치 특징을 기반으로 운동 매개변수를 예측하는 경량 객체 운동 추적기(OMT)를 도입하여, 비용이 많이 드는 이미지 특징 추출을 피하고 5000 FPS 추적을 가능하게 한다.
• 예측된 ROIs 내에서 예측을 정교화하기 위해 스킵 연결을 적용하는 전용 객체 디코더를 사용해 객체 수준의 분할을 수행함으로써 배경에서의 오진 양성 수를 줄인다.
• 예측된 객체의 운동 경로 내에서만 특징을 저장함으로써 배경 영역을 걸러내고 메모리 크기를 1.9배 줄이는 운동 경로 메모리(MPM) 모듈을 도입한다.
• 스패티오-타임스피컬 특징 전파를 가속화하기 위해 MPM이 특징 매칭을 운동 경로 관련 영역으로 제한함으로써 특징 매칭 속도를 3.8배 향상시킨다.
• OMT는 선형, 이차, 삼차 운동 함수를 사용해 객체 궤적을 모델링하며, 이 중 이차 함수가 가장 우수한 성능을 보였다.
• 실제 가림 상황을 반영한 평가를 위해 OVIS에서 유도된 새로운 대규모 가림 중심 데이터셋 OVOS를 구축하였다.

실험 결과

연구 질문

• RQ1 관심 영역 인식 추적 메커니즘이 정확도를 유지하면서도 비디오 객체 분할에서의 불필요한 계산을 줄일 수 있는가?
• RQ2 전체 프레임 메모리 대비 운동 경로 메모리(MPM)가 메모리 저장 용량 감소와 특징 매칭 가속화에 얼마나 효과적인가?
• RQ3 경량 객체 운동 추적기(OMT)가 ROI 예측을 위해 정확도를 훼손하지 않으면서도 높은 프레임 속도(예: 5000 FPS)를 달성할 수 있는가?
• RQ4 기존 방법들과 비교해 제안된 RAVOS 방법이 비디오 객체 분할에서 주요 과제인 가림 상황에서 어떻게 성능을 발휘하는가?
• RQ5 예측된 ROIs 기반의 객체 수준 분할이 추론 속도 향상과 오진 양성 감소에 얼마나 기여하는가?

주요 결과

• DAVIS 2017 검증 세트에서 RAVOS는 42 FPS에서 86.1 J&F를 달성하여 정확도와 추론 속도에서 기존 방법들을 모두 앞선다.
• YouTube-VOS에서 RAVOS는 23 FPS에서 84.4 J&F를 기록하여 다양한 어려운 비디오 조건에서도 뛰어난 성능을 보였다.
• 운동 경로 메모리(MPM)는 전체 프레임 메모리 대비 메모리 크기를 1.9배 줄였고, 특징 매칭 속도를 3.8배 향상시켰다.
• 객체 수준 분할은 특징 매칭 시간을 프레임당 12.2ms에서 5.9ms로, 디코딩 시간을 7.5ms에서 3.9ms로 줄여 효율성을 크게 향상시켰다.
• OMT 추적기는 단일 GPU에서 5000 FPS로 실행되며, 객체당 0.2ms 소요되며 RAFT 광학 흐름보다 100배 빠르지만 경쟁 가능한 정확도를 유지한다.
• 신규로 도입된 OVOS 데이터셋에서 RAVOS는 가림에 대한 뛰어난 강인성을 입증하여 실제 어려운 환경에서의 효과성을 검증했다.