[논문 리뷰] Learning Video Object Segmentation from Unlabeled Videos

Xiankai Lu, Wenguan Wang외 4명|arXiv (Cornell University)|2020. 03. 10.

Visual Attention and Saliency Detection참고 문헌 70인용 수 20

한 줄 요약

이 논문은 비정형 영상에서 다중 긍도 정보—프레임 수준, 단기, 장기, 전체 영상—를 활용하여 픽셀 수준의 애너테이션 없이도 비디오 객체 패턴을 학습하는 통합된 비지도/약한 지도 학습 비디오 객체 분할 프레임워크 MuG를 제안한다. 이 방법은 객체 수준의 제로샷 VOS, 인스턴스 수준의 제로샷 VOS, 그리고 원샷 VOS 설정에서 최신 기준 성능을 달성하며, 애너테이션 부담을 크게 줄이면서도 높은 정확도를 유지한다.

ABSTRACT

We propose a new method for video object segmentation (VOS) that addresses object pattern learning from unlabeled videos, unlike most existing methods which rely heavily on extensive annotated data. We introduce a unified unsupervised/weakly supervised learning framework, called MuG, that comprehensively captures intrinsic properties of VOS at multiple granularities. Our approach can help advance understanding of visual patterns in VOS and significantly reduce annotation burden. With a carefully-designed architecture and strong representation learning ability, our learned model can be applied to diverse VOS settings, including object-level zero-shot VOS, instance-level zero-shot VOS, and one-shot VOS. Experiments demonstrate promising performance in these settings, as well as the potential of MuG in leveraging unlabeled data to further improve the segmentation accuracy.

연구 동기 및 목표

• 비디오 객체 분할(VOS)에서 비용이 많이 드는 픽셀 수준의 애너테이션에 대한 강한 의존도를 줄이기 위해 비정형 영상에서 학습할 수 있도록 하는 것.
• 객체 수준의 제로샷, 인스턴스 수준의 제로샷, 그리고 원샷 VOS와 같은 다양한 VOS 설정을 단일 비지도/약한 지도 학습 프레임워크로 통합하는 것.
• 비정형 데이터로부터의 다중 긍도 감독 신호—예를 들어, 주목도 맵, CAM 활성화, 시간적 일관성 등—를 활용하여 비디오 객체의 내재된 패턴을 모델링하는 것.
• 비디오 데이터에 내재된 히وري스틱 및 구조적 특성에서 유추된 힌트를 통해 VOS에서의 시각 패턴에 대한 이해를 향상시키는 것.

제안 방법

• MuG는 다중 긍도 감독 신호를 통합하는 통합 아키텍처를 사용한다: 비지도 주목도 또는 CAM 맵에서 유도된 프레임 수준 신호, 클립 수준 표현에서의 단기 일관성, 먼 프레임 간의 장기적 대응 관계, 전체 영상 수준의 밀도.
• 모델은 서로 다른 프레임 간 표현을 정렬하기 위해 자기지도 대비 학습 목표를 사용하여, 가림 및 외관 변화에 대한 강건성을 향상시킨다.
• 다양한 긍도 수준에서의 제약 조건을 통합하는 통합 최적화 목표를 설정하여, 지도 데이터 마스크 없이도 엔드 투 엔드 학습이 가능하도록 한다.
• 사전 훈련된 이미지 분류기에서 유도된 클래스 활성화 맵(CAMs)과 주목도 예측을 보조 감독 신호로 활용한다.
• 다단계 훈련 전략을 통해 먼저 국소적 운동 및 외관 패턴을 학습한 후, 장기적 일관성을 강제하여 표현을 점진적으로 개선한다.
• 학습된 비디오 객체 패턴을 활용하여, 제로샷 및 원샷 추론을 포함한 다양한 VOS 설정에 적응 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 픽셀 수준의 애너테이션에 의존하지 않고도 비정형 영상에서 비디오 객체 분할을 효과적으로 학습할 수 있는가?
• RQ2 프레임 수준, 단기, 장기, 전체 영상 수준의 다중 긍도 신호를 어떻게 함께 활용하여 비디오 객체의 내재된 패턴을 모델링할 수 있는가?
• RQ3 단일 비지도/약한 지도 학습 프레임워크가 객체 수준 및 인스턴스 수준의 제로샷 VOS와 원샷 VOS를 포함한 다양한 VOS 설정에 일반화될 수 있는가?
• RQ4 지도 데이터 마스크가 없을 경우, CAM이나 주목도 맵에서 유도된 약한 지도 학습이 분할 성능을 얼마나 향상시킬 수 있는가?
• RQ5 다양한 데이터셋과 설정에서, 제안된 방법이 지도 학습 및 자기지도 학습 기반 모델과 비교해 정확도 및 일반화 능력 측면에서 어떻게 성능을 내는가?

주요 결과

• MuG는 DAVIS 17에서 객체 수준의 제로샷 VOS에서 최신 기준 성능을 달성하여, 이전의 비지도 방법보다 평균 J&F에서 +14.8% 향상되었다.
• 인스턴스 수준의 제로샷 VOS에서 MuG는 AGS 및 PDB와 같은 완전 지도 학습 방법과 경쟁 가능한 성능을 보였으며, 비지도 및 약한 지도 학습 설정에서 RVOS보다 평균 J&F에서 각각 +14.8%와 +19.2% 향상되었다.
• DAVIS 17의 원샷 VOS에서 MuG는 평균 J&F 54.3을 기록하여 이전 최고 성능 모델인 CorrFlow(50.3)를 초월했으며, 비정형 데이터로부터의 패턴 학습 능력이 뛰어나다는 것을 입증했다.
• 프레임 처리 시간은 객체 수준 Z-VOS에서 약 0.7초, 인스턴스 수준 Z-VOS에서 약 0.4초로, 이전의 자기지도 학습 및 매칭 기반 방법 대비 효율적이다.
• 시각적 결과는 시야 변화, 배경 혼잡, 빠른 운동, 척도 변화와 같은 도전적인 조건에서도 견고한 성능을 보이며, 모델의 일반화 능력을 확인한다.
• 제거 실험 결과, 모든 네 가지 긍도 수준—프레임, 단기, 장기, 전체 영상—이 최종 성능에 기여하며, 다중 긍도 설계의 타당성을 입증한다.