[논문 리뷰] Collaborative Video Object Segmentation by Multi-Scale Foreground-Background Integration

Zongxin Yang, Yunchao Wei외 1명|arXiv (Cornell University)|2020. 10. 13.

Visual Attention and Saliency Detection참고 문헌 49인용 수 8

한 줄 요약

이 논문은 다중 척도 및 대비 통합을 통해 배경 및 전경 특징 임베딩을 함께 학습함으로써 성능을 향상시키는 새로운 준지도 학습 비디오 객체 분할 프레임워크인 CFBI+를 제안한다. 픽셀 수준과 인스턴스 수준의 매칭을 효율적인 아트로스 매칭 전략과 결합함으로써, 사전 훈련 없이도 DAVIS 2017에서 82.9%, YouTube-VOS에서 82.8%의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper investigates the principles of embedding learning to tackle the challenging semi-supervised video object segmentation. Unlike previous practices that focus on exploring the embedding learning of foreground object (s), we consider background should be equally treated. Thus, we propose a Collaborative video object segmentation by Foreground-Background Integration (CFBI) approach. CFBI separates the feature embedding into the foreground object region and its corresponding background region, implicitly promoting them to be more contrastive and improving the segmentation results accordingly. Moreover, CFBI performs both pixel-level matching processes and instance-level attention mechanisms between the reference and the predicted sequence, making CFBI robust to various object scales. Based on CFBI, we introduce a multi-scale matching structure and propose an Atrous Matching strategy, resulting in a more robust and efficient framework, CFBI+. We conduct extensive experiments on two popular benchmarks, i.e., DAVIS and YouTube-VOS. Without applying any simulated data for pre-training, our CFBI+ achieves the performance (J&F) of 82.9% and 82.8%, outperforming all the other state-of-the-art methods. Code: https://github.com/z-x-yang/CFBI.

연구 동기 및 목표

• 유사한 배경 객체가 전경 예측을 오도하는 배경 혼동 문제를 해결한다.
• 전경과 배경 임베딩을 동일하게 취급하는 협업 학습 프레임워크를 제안하여 특징의 대비성을 향상시킨다.
• 픽셀 수준과 인스턴스 수준의 매칭 기반 통합을 통해 다양한 객체 크기 변화에 대한 내성을 향상시킨다.
• 성능 저하 없이도 계산량과 메모리 사용량을 줄이기 위해 아트로스 매칭 전략을 도입하여 추론 효율성을 향상시킨다.
• 모델이 배경 특성에 편향되지 않도록 방지하기 위해 균형 잡힌 무작위 컷 훈련 기법을 개발한다.

제안 방법

• 전경과 배경 영역의 특징 임베딩을 별도로 분리하여, 이들 간의 대비 학습을 촉진한다.
• 다양한 수신장 크기에서 픽셀 수준의 매칭을 수행하는 다중 척도 매칭 구조를 도입한다.
• 전체적인 맥락을 활용하여 대규모 객체의 분할을 안내하기 위해 인스턴스 수준의 주의 메커니즘을 적용한다.
• 확장된 컨볼루션을 사용하여 매칭 연산의 계산량과 메모리 사용량을 줄이는 아트로스 매칭(AM) 전략을 설계한다.
• 이전 프레임의 예측 마스크를 사용하여 순차적 훈련 전략을 구현함으로써 시간적 일관성을 향상시킨다.
• 훈련 중에 균형 잡힌 무작위 컷 전략을 적용하여 전경과 배경 영역의 균형 잡힌 표현을 확보하고 편향을 줄인다.

실험 결과

연구 질문

• RQ1 전경과 배경 임베딩을 함께 학습함으로써 준지도 학습 비디오 객체 분할의 정확도 향상이 가능할까?
• RQ2 다중 척도 픽셀 수준 및 인스턴스 수준의 매칭 통합이 객체 크기 변화에 대한 내성을 어떻게 향상시키는가?
• RQ3 아트로스 매칭 전략은 성능 저하 없이 얼마나 효율성을 향상시키는가?
• RQ4 균형 잡힌 무작위 컷 훈련 전략은 배경 특성에 대한 모델 편향을 효과적으로 줄이는가?
• RQ5 협업 기반의 전경-배경 통합은 유사한 객체가 존재하는 장면에서 배경 혼동 문제를 완화시킬 수 있는가?

주요 결과

• CFBI+는 사전 훈련 없이도 DAVIS 2017에서 평균 IoU 82.9%, YouTube-VOS에서 F-측정치 82.8%를 달성하여 최신 기술 수준의 성능을 확보하였다.
• 제거 실험 결과, 단일 국소 매칭 대비 다중 국소 매칭이 성능을 1.1% 향상시켰다(74.9% 대비 73.8%), 이는 그 강건성을 입증한다.
• 협업 통합기(ensembler)를 동적 분할 헤드로 대체할 경우 성능이 1.6% 감소하여 제안된 융합 기법의 우수성을 입증한다.
• 균형 잡힌 무작위 컷을 사용할 경우 표준 무작위 컷 대비 정확도가 2.1% 향상되었다(72.8%에서 74.9%로), 배경 편향 감소의 효과를 검증한다.
• 인스턴스 수준 주의 기능을 비활성화할 경우 성능이 72.7%로 떨어지며, 픽셀 수준 특징과 조합했을 때의 중요성을 확인한다.
• 작은 객체, 가림, 여러 유사한 객체(예: 10명의 춤사위)가 존재하는 어려운 케이스에서도 CFBI+는 안정적인 성능을 유지하며 잘 일반화됨을 확인하였다.