[논문 리뷰] Temporal Transductive Inference for Few-Shot Video Object Segmentation

Mennatullah Siam, Konstantinos G. Derpanis외 1명|arXiv (Cornell University)|2022. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 소수의 샘플을 가진 비디오 객체 분할을 위한 새로운 시간적 전도성 추론(TTI) 방법을 제안하며, 전체 비디오 수준의 제약 조건을 통해 전역적인 시간적 일관성을 강제함으로써, 소수의 샘플 지원 집합에서 과적합을 줄이고 시간적 일관성을 향상시킨다. 이 방법은 YouTube-VIS에서 최신 기술 대비 2.5%의 mIoU 향상을 달성하고, 철저하게 애너테이션된 MiniVSPW 벤치마크를 도입한다.

ABSTRACT

Few-shot video object segmentation (FS-VOS) aims at segmenting video frames using a few labelled examples of classes not seen during initial training. In this paper, we present a simple but effective temporal transductive inference (TTI) approach that leverages temporal consistency in the unlabelled video frames during few-shot inference. Key to our approach is the use of both global and local temporal constraints. The objective of the global constraint is to learn consistent linear classifiers for novel classes across the image sequence, whereas the local constraint enforces the proportion of foreground/background regions in each frame to be coherent across a local temporal window. These constraints act as spatiotemporal regularizers during the transductive inference to increase temporal coherence and reduce overfitting on the few-shot support set. Empirically, our model outperforms state-of-the-art meta-learning approaches in terms of mean intersection over union on YouTube-VIS by 2.8%. In addition, we introduce improved benchmarks that are exhaustively labelled (i.e. all object occurrences are labelled, unlike the currently available), and present a more realistic evaluation paradigm that targets data distribution shift between training and testing sets. Our empirical results and in-depth analysis confirm the added benefits of the proposed spatiotemporal regularizers to improve temporal coherence and overcome certain overfitting scenarios.

연구 동기 및 목표

• 소수의 샘플을 가진 비디오 객체 분할에서 추론 과정 동안 시간적 정규화의 부족을 해결하기 위해.
• 에피소드 학습 없이도 일반화 성능을 향상시키고 소수의 샘플 지원 집합에서의 과적합을 줄이기 위해.
• 기존 데이터셋의 한계를 극복하기 위해 철저하게 애너테이션된 비디오 마스크를 포함한 새로운 벤치마크를 도입하기 위해.
• 전역적인 시공간 정규화자와 关键 프레임 보정을 통해 시간적 일관성을 향상시키기 위해.
• 단일 이미지 설정을 넘어서 비디오 분할에서 전도성 추론의 효과성을 입증하기 위해.

제안 방법

• 비라벨링된 쿼리 프레임에 대해 전경/배경 영역 비율 정규화를 적용한 프레임 수준의 교차 엔트로피 손실을 사용한다.
• 전역적인 비디오 수준 제약 조건인 $\mathbf{L}_{global}$ 는 모든 프레임에 걸쳐 일관된 선형 분류기를 유지하기 위해 동적으로 업데이트되는 비디오 수준의 프로토타입과 정렬함으로써 작용한다.
• 최적화 과정 동안 반복적으로 업데이트되는 비디오 수준 프로토타입은 시퀀스 전체에 걸쳐 클래스를 대표한다.
• 핵심 프레임 보정은 전역 프로토타입에 가장 가까운 프레임을 선택하여 추가적인 분류기 보정을 수행함으로써 잘 분할된 프레임에서 정확도를 향상시킨다.
• 온라인 백본 미세조정을 피함으로써 효율적인 전도성 추론을 가능하게 하며 뛰어난 성능을 달성한다.
• 메타학습이나 에피소드 학습 없이도, 단지 지원 집합과 쿼리 프레임만을 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 전역적인 시간적 제약 조건이 소수의 샘플을 가진 비디오 객체 분할에서 시간적 일관성을 향상시킬 수 있는가?
• RQ2 에피소드 학습 없이도 전도성 추론이 FS-VOS에서 메타학습 기반 접근법을 초월할 수 있는가?
• RQ3 시공간 정규화는 작은 지원 집합에서 과적합에 어떤 영향을 미치는가?
• RQ4 벤치마크에서 철저한 애너테이션은 평가 신뢰도를 어느 정도 향상시키는가?
• RQ5 비용이 많이 들지 않는 백본 미세조정 없이도 핵심 프레임 기반 보정이 분류기 품질을 향상시킬 수 있는가?

주요 결과

• 제안된 TTI 방법은 YouTube-VIS에서 최신 기술 대비 2.5%의 절대적인 mIoU 향상을 달성한다.
• 특히 모호하거나 자세가 변하는 객체가 있는 경우, 소수의 샘플 지원 집합에서의 과적합을 크게 줄인다.
• 시간적 일관성 분석을 통해 시공간 정규화자가 프레임 간 예측 안정성을 향상시킨다는 것이 확인되었다.
• VSPW 데이터셋에서 유래한 MiniVSPW 벤치마크는 철저하게 레이블링된 마스크를 제공하여 YouTube-VIS의 비완전한 애너테이션 문제를 해결한다.
• 시각화 결과는 TTI가 지원 집합의 객체가 자세나 외형이 변할 때에도 시간적 일관성을 유지하며, 어려운 경우에서 RePRI 기준선을 능가함을 보여준다.
• 일부 프레임에서 약간의 과분할이 발생하더라도, TTI는 YouTube-VIS의 모든 폴드에서 기준선을 일관되게 능가하며 열악한 해법을 줄인다.