[논문 리뷰] MeViS: A Large-scale Benchmark for Video Segmentation with Motion Expressions

Henghui Ding, Chang Liu외 3명|arXiv (Cornell University)|2023. 08. 16.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 운동 표현을 활용한 영상 분할을 위한 대규모 벤치마크인 MeViS를 소개한다. 이는 정적 속성보다 시간적 운동에 중점을 두며, 언어 조건부 쿼리와 운동 인식 특징 집합을 사용하는 새로운 베이스라인 방법 LMPM을 제안하여 분할 성능을 향상시킨다. 이로 인해 37.2%의 J&F 점수를 기록하며 이전 방법들보다 유의하게 높게 나타나, 복잡한 장면에서 운동 유도 분할의 과제를 부각시킨다.

ABSTRACT

This paper strives for motion expressions guided video segmentation, which focuses on segmenting objects in video content based on a sentence describing the motion of the objects. Existing referring video object datasets typically focus on salient objects and use language expressions that contain excessive static attributes that could potentially enable the target object to be identified in a single frame. These datasets downplay the importance of motion in video content for language-guided video object segmentation. To investigate the feasibility of using motion expressions to ground and segment objects in videos, we propose a large-scale dataset called MeViS, which contains numerous motion expressions to indicate target objects in complex environments. We benchmarked 5 existing referring video object segmentation (RVOS) methods and conducted a comprehensive comparison on the MeViS dataset. The results show that current RVOS methods cannot effectively address motion expression-guided video segmentation. We further analyze the challenges and propose a baseline approach for the proposed MeViS dataset. The goal of our benchmark is to provide a platform that enables the development of effective language-guided video segmentation algorithms that leverage motion expressions as a primary cue for object segmentation in complex video scenes. The proposed MeViS dataset has been released at https://henghuiding.github.io/MeViS.

연구 동기 및 목표

• 영상 분할에서 정적 속성 외에 운동 표현에 중점을 두는 벤치마크의 부족을 해결하기 위해.
• 복잡한 영상 장면에서 객체를 지목하고 분할하기 위해 운동을 주요 신호로 사용할 수 있는지 탐색하기 위해.
• 고온도 복잡성과 다중 객체 운동 표현을 갖춘 데이터셋을 도입함으로써 기존의 참조 영상 객체 분할(RVOS) 방법에 도전하기 위해.
• 더 강력하고 운동 인식 기반의 언어 유도 영상 분할 모델 개발을 위한 기반을 마련하기 위해.
• 동적 영상 환경에서의 전역 시간 모델링, 다중 객체 추적, 다중 모odal 이해에 관한 연구를 가능하게 하기 위해.

제안 방법

• 객체 임베딩을 사용하여 잠재적 타겟 객체를 탐지하는 언어 조건부 쿼리 생성 메커니즘을 제안하여 강건성과 효율성을 향상시킨다.
• 객체 임베딩에 운동 인식을 적용하여 전체 영상 시퀀스에서 장기적이고 일시적인 운동 패턴을 포착한다.
• 운동 집합된 임베딩을 기반으로 언어 특징을 디코딩하고 객체 궤적을 예측하기 위해 트랜스포머 디코더를 사용한다.
• 언어 특징과 예측 궤적 사이의 유사도 매칭 모듈을 도입하여 타겟 객체를 식별하며, 단일 및 다중 객체 표현 모두를 지원한다.
• 두 단계 학습 전략을 적용한다: 첫 번째로 객체 임베딩에 대한 운동 인식, 두 번째로 언어 신호와의 궤적 예측 및 매칭.
• 복잡한 영상 이해에서 운동 인식 모델링의 효과를 입증하기 위해 LMPM(Language-guided Motion Perception and Matching)이라는 베이스라인 모델을 설계한다.

실험 결과

연구 질문

• RQ1 기존의 RVOS 방법들은 정적 시각적 속성에 의존하지 않고 운동 표현만으로 객체를 효과적으로 분할할 수 있는가?
• RQ2 운동이 정적 외형보다 주요 신호로 사용될 경우, 최첨단 RVOS 모델의 성능은 어떻게 저하되는가?
• RQ3 언어 표현을 통해 복잡한 영상 시퀀스에서 장기적이고 일시적인 운동을 모델링할 때의 주요 과제는 무엇인가?
• RQ4 통합된 모델이 하나의 프레임워크에서 단일 객체 및 다중 객체 운동 표현을 효과적으로 처리할 수 있는가?
• RQ5 전역 시간적 맥락은 영상에서 운동 표현을 정확히 지목하는 데 어떤 역할을 하는가?

주요 결과

• 현재 최첨단 RVOS 방법들은 MeViS에서 27.8%에서 31.0%의 J&F를 기록하며, Refer-Youtube-VOS 및 DAVIS 17-RVOS와 같은 기존 벤치마크에서의 60% 이상 성능에 비해 유의미하게 낮다.
• 제안된 LMPM 베이스라인은 MeViS에서 37.2%의 J&F 점수를 기록하여 이전 모든 방법들을 능가하며, 운동 인식 모델링의 필요성을 입증한다.
• 실패 사례 분석 결과, 모델이 타겟 객체의 사라짐과 재등장에 어려움을 겪으며 전역 시간적 추론 능력의 한계를 드러낸다.
• 다중 객체의 복잡한 운동 상호작용, 예를 들어 여러 개의 이동 객체가 얽힌 궤적은 특히 후반 영상 프레임에서 추적 실패를 유도한다.
• MeViS의 다중 객체 표현 기능은 현재 모델들이 강건하게 처리하지 못하는 더 현실적이고 도전적인 평가 환경을 제공한다.
• LMPM이 '앞쪽으로 이동하는' 또는 '화면에서 벗어나는'과 같은 장기 운동 표현을 효과적으로 처리한 것은 운동 인식과 궤적 예측의 가치를 확인한다.