[논문 리뷰] Fast video object segmentation with Spatio-Temporal GANs

Sergi Caelles, Albert Pumarola외 3명|arXiv (Cornell University)|2019. 03. 28.

Visual Attention and Saliency Detection참고 문헌 54인용 수 7

한 줄 요약

FaSTGAN은 훈련 중 유한한 시간 윈도우 내에서 시공간 객체 모델을 학습하는 새로운 시공간 GAN 아키텍처를 사용하여 실시간 반감독 비디오 객체 분할 방법을 제안한다. 두 개의 크리틱(공간 및 시간적 일관성 강제)을 활용함으로써, 미세조정이나 후처리 없이도 32 fps의 추론 속도를 달성하며, DAVIS 및 YouTube-VOS 벤치마크에서 최신 기술 수준의 정확도를 확보한다.

ABSTRACT

Learning descriptive spatio-temporal object models from data is paramount for the task of semi-supervised video object segmentation. Most existing approaches mainly rely on models that estimate the segmentation mask based on a reference mask at the first frame (aided sometimes by optical flow or the previous mask). These models, however, are prone to fail under rapid appearance changes or occlusions due to their limitations in modelling the temporal component. On the other hand, very recently, other approaches learned long-term features using a convolutional LSTM to leverage the information from all previous video frames. Even though these models achieve better temporal representations, they still have to be fine-tuned for every new video sequence. In this paper, we present an intermediate solution and devise a novel GAN architecture, FaSTGAN, to learn spatio-temporal object models over finite temporal windows. To achieve this, we concentrate all the heavy computational load to the training phase with two critics that enforce spatial and temporal mask consistency over the last K frames. Then at test time, we only use a relatively light regressor, which reduces the inference time considerably. As a result, our approach combines a high resiliency to sudden geometric and photometric object changes with efficiency at test time (no need for fine-tuning nor post-processing). We demonstrate that the accuracy of our method is on par with state-of-the-art techniques on the challenging YouTube-VOS and DAVIS datasets, while running at 32 fps, about 4x faster than the closest competitor.

연구 동기 및 목표

• 기존 비디오 객체 분할 모델이 시간 모델링이 열악하여 급격한 외관 변화나 가림 현상에서 실패하는 문제를 해결하기 위해.
• 미세조정이나 후처리 없이도 고정확도를 유지하면서 실시간 추론 속도를 달성하는 방법을 개발하기 위해.
• 경량 추론 네트워크를 사용하여 유한한 시간 윈도우 내에서 강력한 시공간 객체 표현을 학습하기 위해.
• 이중 크리틱을 통해 훈련 중 공간적 및 시간적 일관성을 통합하여, 테스트 시 효율적이고 정확한 마스크 전파를 가능하게 하기 위해.

제안 방법

• 메서드는 Wug 등 [60]의 영감을 받은 시아모이스 인코더-디코더 회귀기 아키텍처를 사용하며, 기준 마스크와 현재 프레임을 입력으로 취한다.
• 훈련 중에 두 개의 판별기(공간 및 시간적 크리틱)를 도입하여 마지막 K프레임에 걸쳐 일관성을 강제함으로써 매끄럽고 정확한 마스크 예측을 보장한다.
• 공간 크리틱은 프레임 간 일관된 경계 예측을 보장하고, 시간적 크리틱은 시간에 따라 일관된 마스크 변화를 유지한다.
• 테스트 시에는 오직 경량 회귀기만 사용되며, 크리틱은 기각되어 미세조정 없이 빠른 추론이 가능해진다.
• 모델은 광학 흐름이나 추가적인 감독 없이 비디오 데이터만으로 엔드 투 엔드로 훈련된다.
• 유한한 시간 윈도우(K 프레임)를 활용하여 장기적 시간 모델링와 계산 효율성 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 GAN 기반 아키텍처는 미세조정 없이도 새로운 비디오 시퀀스에 일반화 가능한 강력한 시공간 객체 모델을 학습할 수 있는가?
• RQ2 가림 현상과 외관 변화 상황에서 정확도를 향상시키기 위해, 훈련 중 공간적 및 시간적 일관성을 효과적으로 강제할 수 있는가?
• RQ3 이중 크리틱을 통해 훈련된 경량 회귀기는 실시간 추론 속도를 달성하면서도 최신 기술 수준의 정확도를 유지할 수 있는가?
• RQ4 비디오 객체 분할에서 시공간 일관성을 통합할 경우, 추론 속도와 정확도 사이의 상충 관계는 어떻게 되는가?

주요 결과

• FaSTGAN은 512×512 비디오 프레임에서 32 fps의 추론 속도를 달성하였으며, 가장 가까운 경쟁자(7.7 fps)보다 약 4배 빠르다.
• DAVIS17 및 YouTube-VOS 데이터셋에서 모두 최신 기술 수준의 정확도를 확보하였으며, 이전의 최신 기술 수준 모델들보다 성능을 matching하거나 초월하였다.
• RGMP에 비해 DAVIS17과 YouTube-VOS에서 각각 J&F 점수에서 4점과 5.7점 향상되었으며, 동시에 훨씬 더 빠른 속도를 기록하였다.
• FaSTGAN은 RGMP보다 5배 이상 빠르며, PReMVOS보다 500배 이상 빠르게 작동한다. DAVIS17에서 정확도는 약간 감소했지만, 전체적으로 뛰어난 성능을 보였다.
• qualitative 결과에서 보듯이, FaSTGAN은 가림 현상, 외관 변화, 동적 배경에 대해 강건한 성능을 유지한다.
• Ablation study는 공간적 일관성(LS)과 시간적 일관성(LT)을 모두 조합했을 때 가장 우수한 성능를 기록하며, 경계 오류와 가림 현상 회복 실패를 감소시킨다.