[논문 리뷰] Learning Position and Target Consistency for Memory-based Video Object Segmentation

Li Hu, Peng Zhang외 4명|arXiv (Cornell University)|2021. 04. 09.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 위치 일관성과 목표물 일관성을 학습함으로써 성능을 햖थ하는 메모리 기반의 새로운 프레임워크인 LCM을 제안한다. 위치 유도 모듈(PGM)을 통해 운동 궤적 사전 지식을 모델링하고, 개체 관계 모듈(ORM)을 통해 목표물 일관성을 확보한다. 공간-시간 경로 인식과 개체 수준의 특징 일관성 통합을 통해 DAVIS 및 Youtube-VOS에서 최신 기술 수준(SOTA) 성능을 달성하였으며, DAVIS 2020 준지도 VOS 도전 대회에서 DAVIS-2016에 대해 평균 F-스코어 90.7%로 1위를 기록하였다.

ABSTRACT

This paper studies the problem of semi-supervised video object segmentation(VOS). Multiple works have shown that memory-based approaches can be effective for video object segmentation. They are mostly based on pixel-level matching, both spatially and temporally. The main shortcoming of memory-based approaches is that they do not take into account the sequential order among frames and do not exploit object-level knowledge from the target. To address this limitation, we propose to Learn position and target Consistency framework for Memory-based video object segmentation, termed as LCM. It applies the memory mechanism to retrieve pixels globally, and meanwhile learns position consistency for more reliable segmentation. The learned location response promotes a better discrimination between target and distractors. Besides, LCM introduces an object-level relationship from the target to maintain target consistency, making LCM more robust to error drifting. Experiments show that our LCM achieves state-of-the-art performance on both DAVIS and Youtube-VOS benchmark. And we rank the 1st in the DAVIS 2020 challenge semi-supervised VOS task.

연구 동기 및 목표

• 픽셀 수준의 유사성에만 의존하는 메모리 기반 VOS 방법이 외관 변화, 가림, 간섭 물체 상황에서 실패하는 데 기인한 한계를 해결하기 위해.
• 비디오 전반에 걸쳐 개체 수준의 일관성을 강제하여 오류 누적 문제에 대한 강건성을 향상시키기 위해.
• 공간-시간 운동 궤적을 활용하여 위치 일관성 모델링을 통해 더 신뢰할 수 있는 분할을 실현하기 위해.
• 전역 메모리 검색과 국소 위치 및 개체 인식 컨텍스트 융합을 통합하여 분류 능력을 향상시키기 위해.
• 추론 속도를 저하시키지 않으면서 표준 VOS 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• LCM는 STM 프레임워크 기반의 전역 검색 모듈(GRM)을 활용하여 공간-시간 메모리 전역에서 조밀한 픽셀 수준의 특징 매칭을 수행한다.
• 위치 유도 모듈(PGM)은 운동 궤적 사전 지식을 모델링하여 위치 일관성을 촉진하는 위치 반응 맵을 학습한다.
• 개체 관계 모듈(ORM)은 첫 번째 프레임 마스크에서 개체 수준의 관계를 인코딩하여 프레임 간 목표물 일관성을 유지한다.
• PGM과 ORM은 메모리 메커니즘에 통합되어 주의 맵을 개선하고 유사한 외관을 가진 간섭 물체에서 발생하는 오분류를 억제한다.
• 세 단계 훈련 전략을 사용한다: ImageNet에서의 사전 훈련, 시간적 제약 조건 하에서의 훈련, 비디오 시퀀스에서의 엔드 투 엔드 미세 조정.
• 추론은 효율적이며, 단일 P100 GPU에서 STM 대비 런타임이 6%만 증가한다.

실험 결과

연구 질문

• RQ1 운동 궤적 모델링을 통한 위치 일관성 학습이 메모리 기반 VOS의 분할 정확도를 향상시키는가?
• RQ2 개체 수준의 특징 관계 학습이 장시간 비디오 시퀀스에서 목표물 일관성을 향상시키고 오류 누적 문제를 줄이는가?
• RQ3 픽셀 수준의 매칭과 함께 위치 및 개체 인식 컨텍스트를 융합하면 표준 벤치마크에서 최신 기술 수준 성능을 달성하는가?
• RQ4 기존의 메모리 기반 및 전파 기반 방법과 비교해 본다면, 제안된 프레임워크는 정확도와 추론 속도 측면에서 어떻게 성능을 내는가?
• RQ5 각 구성 요소(PGM, ORM, GRM)가 전체 성능에 기여하는 정도는 어떠하며, 훈련 전략의 설정이 결과에 어떤 영향을 미치는가?

주요 결과

• LCM는 DAVIS-2016 검증 세트에서 평균 F-스코어 90.7%를 기록하여 이전 SOTA 방법인 KMN(90.5%)과 STM(89.3%)를 초월하였다.
• DAVIS-2017 검증 세트에서 LCM는 사전 훈련 없이도 평균 재현율(Jaccard index) 79.2%를 달성하여 강력한 일반화 능력을 보였다.
• 제거 실험 결과, PGM 또는 ORM 비활성화 시 성능이 각각 77.8%와 78.4%로 떨어지며 이들의 핵심적 역할을 확인하였다.
• GRM는 기초적인 요소로서 제거 시 성능이 67.5%로 급격히 하락하여 메모리 기반 검색에 필수적임을 입증하였다.
• 세 단계 훈련 전략이 가장 높은 성능(평균 점수 83.5%)을 내며, 시간적 시퀀스 학습을 생략한 전략보다 뛰어난 성능을 보였다.
• 정성적 결과 분석에서 LCM는 STM보다 가림, 외관 변화, 유사 물체 혼동 상황에서 더 강건한 성능을 보였다.