[논문 리뷰] A Transductive Approach for Video Object Segmentation

Yizhuo Zhang, Zhirong Wu외 2명|arXiv (Cornell University)|2020. 04. 15.

Advanced Neural Network Applications참고 문헌 47인용 수 7

한 줄 요약

이 논문은 외부 모듈, 데이터셋, 아키텍처 수정 없이 스파atio-temporal 임베딩 공간에서 레이블 전파를 이용한 단순하고 빠르며 효과적인 비지도 학습 방식의 순환적 접근법을 제안한다. DAVIS 2017 검증 세트에서 72.3%의 성능을 기록하고 테스트 세트에서 63.1%를 달성하며, 향후 연구를 위한 강력하고 효율적인 기준이 된다.

ABSTRACT

Semi-supervised video object segmentation aims to separate a target object from a video sequence, given the mask in the first frame. Most of current prevailing methods utilize information from additional modules trained in other domains like optical flow and instance segmentation, and as a result they do not compete with other methods on common ground. To address this issue, we propose a simple yet strong transductive method, in which additional modules, datasets, and dedicated architectural designs are not needed. Our method takes a label propagation approach where pixel labels are passed forward based on feature similarity in an embedding space. Different from other propagation methods, ours diffuses temporal information in a holistic manner which take accounts of long-term object appearance. In addition, our method requires few additional computational overhead, and runs at a fast $\sim$37 fps speed. Our single model with a vanilla ResNet50 backbone achieves an overall score of 72.3 on the DAVIS 2017 validation set and 63.1 on the test set. This simple yet high performing and efficient method can serve as a solid baseline that facilitates future research. Code and models are available at \url{https://github.com/microsoft/transductive-vos.pytorch}.

연구 동기 및 목표

• 광학 흐름이나 인스턴스 세그멘테이션과 같은 외부 모듈에 의존하지 않고, 비지도 학습 영상 객체 세그멘테이션의 과제를 해결하기 위해.
• 스패티오-타임스패셜 볼륨 내의 장기적 시간적 의존성과 레이블이 없는 구조를 활용하여 세그멘테이션의 일관성을 향상시키기 위해.
• 높은 효율성과 경쟁력 있는 성능을 동시에 확보하여 향후 연구를 위한 강력한 기준이 되는 방법을 개발하기 위해.
• 명시적인 추적 또는 스무딩 모듈 없이도 변형과 가림을 견뎌내는 시간적 안정성과 강건성을 확보하기 위해.

제안 방법

• 픽셀 간 유사도 기반으로 학습된 임베딩 공간에서 특징 유사도를 이용해 유사도를 계산하는 스파atio-타임스패셜 그래프에서 레이블 전파를 수행한다.
• 국소적 의존성은 공간적 및 운동적 사전 지식을 통해 모델링하고, 전반적 의존성은 사전 학습된 ResNet-50에서 유래한 외관 특징을 통해 모델링한다.
• 모든 프레임에서 첫 프레임부터 현재 프레임까지의 시간적 확산을 종합적으로 수행하며, 최근 기록에는 조밀한 샘플링, 먼 기록에는 희소한 샘플링을 적용한다.
• 추론은 백본을 통한 순방향 전파와 캐시된 이력 임베딩과의 내적곱만으로 이루어지며, 이로 인해 각 프레임당 일정 시간의 계산이 가능하다.
• 이 방법은 엔드 투 엔드로 학습되며, 추가적인 데이터셋, 사전 학습, 또는 표준 ResNet-50를 초월한 아키텍처 수정이 필요하지 않다.
• 학습된 유사도 기반 광학 흐름에 공간적 스무딩 제약 조건을 적용하지만, 이는 세그멘테이션 성능을 떨어뜨리는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 외부 모듈 없이도 레이블 전파 기반의 단순한 순환적 방법이 영상 객체 세그멘테이션에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 스패티오-타임스패셜 볼륨 내에서 종합적인 장기적 시간적 의존성을 얼마나 효과적으로 활용할 수 있는가?
• RQ3 이러한 방법은 시간적 일관성과 가림에 대한 강건성을 유지하면서도 고속 추론을 달성할 수 있는가?
• RQ4 명시적인 광학 흐름 감독 없이도 모델이 암묵적으로 운동 정보를 얼마나 잘 학습하는가?

주요 결과

• DAVIS 2017 검증 세트에서 전체 점수 72.3%를 기록하고, 테스트 세트에서 63.1%를 달성하여 외부 모듈 없이도 많은 이전 방법들을 능가한다.
• 단일 Titan Xp GPU에서 37 fps로 실행되어 대부분의 최첨단 방법보다 뚜렷이 빠르며, 경쟁력 있는 정확도를 유지한다.
• YouTube-VOS 검증 세트에서는 전체 점수 67.8%를 기록하여, 무겁게 사전 학습된 STM를 제외한 모든 이전 방법을 능가한다.
• 모델은 뛰어난 시간적 안정성을 보이며, 예측이 일관되게 유지되며, 정체성 전환이 자주 발생하는 PreMVOS와 같은 방법들과는 대조된다.
• 학습된 유사도 기반 광학 흐름은 물체에서는 일관되지만 배경에서는 노이즈가 심하고, 명시적 스무딩 제약 조건을 추가하면 세그멘테이션 성능이 떨어진다.
• DAVIS에서 YouTube-VOS로의 전이 학습을 통해 전체 점수 67.4%를 기록하여, 미세조정 없이도 강력한 일반화 능력을 보였다.