[논문 리뷰] Collaborative Video Object Segmentation by Foreground-Background Integration

Zongxin Yang, Yunchao Wei외 1명|arXiv (Cornell University)|2020. 03. 18.

Visual Attention and Saliency Detection참고 문헌 44인용 수 21

한 줄 요약

이 논문은 배경 혼동을 줄이기 위해 배경 및 전경 특징 임베딩을 함께 학습하는 새로운 준감독 비디오 객체 분할 프레임워크인 CFBI를 제안한다. 픽셀 수준 및 인스턴스 수준의 임베딩을 공동으로 통합하고, 균형 잡힌 무작위 컷 전략을 적용함으로써, 보정 또는 데이터 증강 없이 DAVIS 2016에서 89.4% (J&F), DAVIS 2017에서 81.9%, YouTube-VOS에서 81.4%의 최신 기술 수준 성능을 달성한다.

ABSTRACT

This paper investigates the principles of embedding learning to tackle the challenging semi-supervised video object segmentation. Different from previous practices that only explore the embedding learning using pixels from foreground object (s), we consider background should be equally treated and thus propose Collaborative video object segmentation by Foreground-Background Integration (CFBI) approach. Our CFBI implicitly imposes the feature embedding from the target foreground object and its corresponding background to be contrastive, promoting the segmentation results accordingly. With the feature embedding from both foreground and background, our CFBI performs the matching process between the reference and the predicted sequence from both pixel and instance levels, making the CFBI be robust to various object scales. We conduct extensive experiments on three popular benchmarks, i.e., DAVIS 2016, DAVIS 2017, and YouTube-VOS. Our CFBI achieves the performance (J$F) of 89.4%, 81.9%, and 81.4%, respectively, outperforming all the other state-of-the-art methods. Code: https://github.com/z-x-yang/CFBI.

연구 동기 및 목표

• 유사한 배경 객체가 전경 예측을 오도하는 준감독 비디오 객체 분할에서의 배경 혼동 문제를 해결하기 위해.
• 픽셀 수준 및 인스턴스 수준의 특징 임베딩을 통합함으로써 다양한 객체 크기 변화에 대한 내성을 향상시키기 위해.
• 학습 중에 배경 특징에 대한 편향을 제거하기 위해 균형 잡힌 무작위 컷 전략을 도입하기 위해.
• 각각의 특징 임베딩 간의 대비성을 향상시키기 위해 암묵적 대비 학습을 통해 전경과 배경 간의 특징 대비성을 강화하기 위해.
• 보정 또는 후처리 없이도 고속 추론(5 FPS)을 통해 높은 정확도를 달성하기 위해.

제안 방법

• 픽셀 수준 및 인스턴스 수준에서 전경 및 배경 임베딩의 예측을 융합하는 공동 엔세블러를 제안한다.
• 연속 프레임 간의 국소적 특징 매칭을 향상시키기 위해 다중 국소 창 매칭 기법을 도입하여 안정성을 높인다.
• 대규모 객체 분할을 안내하기 위해 인스턴스 수준의 어텐션을 활용하여 픽셀 수준의 다양성으로 인한 노이즈를 줄인다.
• 학습 중에 배경 특징에 대한 모델 편향을 방지하기 위해 균형 잡힌 무작위 컷 전략을 적용한다.
• 이전 프레임의 예측 마스크를 사용해 순차적 학습을 수행함으로써 시간적 일관성을 향상시킨다.
• 각각의 특징 임베딩 간의 대비 학습을 거리 측정 기반의 별도의 편향 항목을 통해 구현한다.

실험 결과

연구 질문

• RQ1 전경 및 배경 임베딩을 함께 학습함으로써 준감독 비디오 객체 분할의 정확도 향상이 가능할까?
• RQ2 픽셀 수준 및 인스턴스 수준의 임베딩을 통합하면 객체 크기 변화에 대한 내성에 어떤 영향을 미칠까?
• RQ3 전경 특징만 사용할 경우 배경 혼동이 성능에 얼마나 큰 영향을 미칠까?
• RQ4 균형 잡힌 무작위 컷 학습 전략이 배경 특성에 대한 모델 편향을 줄이는 데 얼마나 효과적인가?
• RQ5 다양한 유형의 임베딩을 공동으로 통합하는 것이 분할 정확도 향상에 얼마나 효과적인가?

주요 결과

• CFBI는 DAVIS 2016에서 보정 또는 데이터 증강 없이도 89.4% (J&F)의 성능을 달성하여 이전 최고 기술 수준의 방법들을 모두 능가한다.
• DAVIS 2017에서 CFBI는 81.9% (J&F)의 성능을 기록하였으며, 기준 모델인 FEELVOS(68.3%)보다 뚜렷한 향상이 있었다.
• YouTube-VOS에서 CFBI는 81.4% (J&F)의 성능을 기록하여 다양한 비디오 분포에 대한 강력한 일반화 능력을 보였다.
• 다중 해상도 및 플립 증강을 적용한 경우, DAVIS 2016에서 90.1%, DAVIS 2017에서 83.3%, YouTube-VOS에서 82.7%로 성능이 추가로 향상되었다.
• 제거 실험 결과 배경 임베딩을 제거하면 성능이 74.9%에서 70.9%로 떨어지며, 이는 배경 임베딩이 혼동을 줄이는 데 핵심적인 역할을 함을 입증한다.
• 다중 국소 창과 인스턴스 수준 어텐션을 갖춘 공동 엔세블러는 동적 분할 헤드 기준 1.6% 향상된 성능을 기록하였다.