[논문 리뷰] Learning Video Object Segmentation with Visual Memory

Pavel Tokmakov, Karteek Alahari외 1명|arXiv (Cornell University)|2017. 04. 19.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 46

한 줄 요약

이 논문은 수동으로 애너테이션된 프레임이 필요 없이 비디오 객체 분할을 위한 시각적 기억을 학습하기 위해 컨볼루션 게이트드 순환 유닛(ConvGRU) 메모리 모듈을 갖춘 이중 스트림 신경망을 제안한다. 양방향 시공간 모델링을 통해 외관 및 운동 특징을 융합함으로써, 이 방법은 DAVIS 벤치마크에서 이전 방법들보다 약 6% 높은 성능을 달성한다.

ABSTRACT

This paper addresses the task of segmenting moving objects in unconstrained videos. We introduce a novel two-stream neural network with an explicit memory module to achieve this. The two streams of the network encode spatial and temporal features in a video sequence respectively, while the memory module captures the evolution of objects over time. The module to build a "visual memory" in video, i.e., a joint representation of all the video frames, is realized with a convolutional recurrent unit learned from a small number of training video sequences. Given a video frame as input, our approach assigns each pixel an object or background label based on the learned spatio-temporal features as well as the "visual memory" specific to the video, acquired automatically without any manually-annotated frames. The visual memory is implemented with convolutional gated recurrent units, which allows to propagate spatial information over time. We evaluate our method extensively on two benchmarks, DAVIS and Freiburg-Berkeley motion segmentation datasets, and show state-of-the-art results. For example, our approach outperforms the top method on the DAVIS dataset by nearly 6%. We also provide an extensive ablative analysis to investigate the influence of each component in the proposed framework.

연구 동기 및 목표

• 수동으로 애너테이션된 프레임에 의존하지 않고 제약이 없는 비디오에서 비디오 객체 분할 문제를 해결한다.
• 광학 흐름이나 프레임별 감독에 의존하는 기존 딥 러닝 방법의 한계를 극복한다.
• 장기적인 객체 진화를 포착하고, 객체 정지 및 재시작과 같은 동적 운동 변화를 다룰 수 있는 메모리 메커니즘을 개발한다.
• 교차 시공간 모델링을 통해 음영 및 외관 변화가 있는 복잡한 시나리오에서의 분할 정확도를 향상시킨다.
• 최소한의 감독으로 끝에서 끝까지 훈련이 가능한 상태에서 표준 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 사전 훈련된 DeepLab 네트워크를 사용해 개별 프레임에서 외관 특징을 추출하는 한 스트림을 사용한다.
• 다른 스트림은 프레임 쌍 간의 광학 흐름에 대해 사전 훈련된 운동 예측 네트워크를 사용해 운동 신호를 계산한다.
• 양방향 컨볼루션 게이트드 순환 유닛(ConvGRU)에 두 스트림을 통합하여 시간에 따라 객체 진화를 반영하는 시각적 기억을 구축한다.
• ConvGRU는 이전 프레임의 정보 흐름을 제어하는 리셋 및 업데이트 게이트를 사용해 은닉 상태를 업데이트함으로써 공동 시공간 표현을 유지한다.
• 시공간적 맥락 모델링을 향상시키고 분할 정확도를 높이기 위해 비디오 시퀀스를 정방향과 역방향 모두에서 처리한다.
• 모든 네트워크를 끝에서 끝까지 훈련하며, 테스트 시에는 비디오 프레임과 지도 분할 결과만 필요하고, 수동으로 애너테이션된 프레임은 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 수동으로 애너테이션된 프레임이 없는 조건에서 학습 가능한 시각적 기억 메커니즘이 비디오 객체 분할 성능을 향상시킬 수 있는가?
• RQ2 양방향 ConvGRU는 장거리 시간적 의존성과 객체 운동 변화를 모델링하는 데 얼마나 효과적인가?
• RQ3 외관 및 운동 특징이 분할 정확도 향상에 얼마나 상호보완적인가?
• RQ4 DAVIS 및 FBMS와 같은 표준 벤치마크에서 제안된 방법은 최고 성능 기술과 비교해 어떻게 성과를 내는가?
• RQ5 각 구성 요소(외관 스트림, 운동 스트림, 메모리 모듈)가 최종 분할 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 DAVIS 2017 벤치마크에서 최고 성능을 낸 방법보다 6% 향상된 성능을 달성하여 새로운 최고 성능 기록을 수립했다.
• FBMS 데이터셋에서 이 방법은 비교된 방법들 중에서 가장 높은 정밀도와 F-측정치를 기록했지만, 장기간 정적 시퀀스에서의 과제로 인해 재현율은 略로 낮았다.
• SegTrack-v2에서 이 방법은 평균 IoU 57.3을 기록하여 CUT와 FST를 능가했고, NLC가 SegTrack에 특화되어 있음에도 불구하고 DAVIS에서 NLC를 20.8% 초월했다.
• 절단 실험 결과, 외관 스트림과 운동 스트림 모두 성능 향상에 기여하며, 양방향 메모리 메커니즘이 분할 정확도 향상에 기여하는 것으로 확인되었다.
• ConvGRU 게이트의 시각화 결과, 다양한 메모리 채널이 운동, 외관 또는 경계 정보 처리에 특화되어 있음을 확인했으며, 이는 적응형 특징 선택을 보여준다.
• 지속적인 시각적 기억 덕분에 객체 정체성이 시간 간격 동안 유지되어, 정지 및 재시작과 같은 객체 운동 변화를 효과적으로 처리할 수 있었다.