[논문 리뷰] MaskRNN: Instance Level Video Object Segmentation

Yuan-Ting Hu, Jia‐Bin Huang외 1명|arXiv (Cornell University)|2018. 03. 29.

Visual Attention and Saliency Detection참고 문헌 46인용 수 12

한 줄 요약

MaskRNN는 장기적인 시간적 일관성과 공간적 국소화를 활용하기 위해 이중 세그먼테이션 마스크와 경계 상자 예측을 순환 아키텍처를 통해 융합하는 순환 신경망 프레임워크를 제안한다. 이는 DAVIS-2016, DAVIS-2017, SegTrack v2에서 최신 기술을 초월하는 성능을 달성하며, RNN를 통한 시간 모델링과 위치 사전 지식을 통합함으로써 프레임 간 프로파게이션을 넘어서는 장기적 의존성을 모델링하여 인스턴스 수준의 세그먼테이션에서 최대 5.6% 향상된 성능을 기록한다.

ABSTRACT

Instance level video object segmentation is an important technique for video editing and compression. To capture the temporal coherence, in this paper, we develop MaskRNN, a recurrent neural net approach which fuses in each frame the output of two deep nets for each object instance -- a binary segmentation net providing a mask and a localization net providing a bounding box. Due to the recurrent component and the localization component, our method is able to take advantage of long-term temporal structures of the video data as well as rejecting outliers. We validate the proposed algorithm on three challenging benchmark datasets, the DAVIS-2016 dataset, the DAVIS-2017 dataset, and the Segtrack v2 dataset, achieving state-of-the-art performance on all of them.

연구 동기 및 목표

• 복잡한 시나리오에서 음영, 급속한 운동, 외관 변화가 있는 상황에서 인스턴스 수준의 비디오 객체 세그먼테이션 문제를 해결하기 위해.
• 단기적 프레임 간 전파를 넘어서 장기적 의존성을 모델링하여 비디오 세그먼테이션의 시간적 일관성을 향상시키기 위해.
• 마스크 예측 외에도 경계 상자 국소화를 공간 사전 지식으로 통합하여 세그먼테이션 정확도를 향상시키기 위해.
• 세그먼테이션 및 국소화 네트워크의 공동 최적화를 통해 혼잡한 배경과 객체 변형에 강건한 방법을 개발하기 위해.

제안 방법

• MaskRNN는 비디오 프레임 간 장기적인 시간적 의존성을 모델링하기 위해 순환 신경망(RNN)을 활용하여 시간에 따라 일관된 마스크 예측을 가능하게 한다.
• 프레임당 객체별로 두 개의 딥 네트워크를 통합한다: 예측된 경계 상자 내에서 인스턴스 마스크를 예측하는 이진 세그먼테이션 네트워크와 객체 경계 상자를 추정하는 국소화 네트워크.
• RNN은 이전 프레임의 특징을 통합하여 현재 예측을 개선함으로써 시간적 일관성을 향상시키고 드리프트를 감소시킨다.
• 경계 상자가 마스크 예측을 제약하고 강건성을 향상시키기 위해 공간 사전 지식으로 기능하는 바탕이 되는 공동 학습 전략이 세그먼테이션 및 국소화 브랜치를 동시에 최적화한다.
• 광학 흐름을 사용하여 프레임 간 마스크와 특징을 왜곡함으로써 운동 모델링을 향상시키고 세그먼테이션 네트워크의 입력 품질을 향상시킨다.
• 이식형 학습을 통해 후처리 단계를 최소화하였으며, 이전 방법들과 달리 조밀한 CRF나 경계 스냅핑이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 순환 신경망이 비디오 객체 세그먼테이션에서 장기적인 시간적 의존성을 효과적으로 모델링하여 프레임 간 일관성을 향상시킬 수 있는가?
• RQ2 경계 상자 국소화 사전 지식을 통합할 경우 복잡한 시나리오에서 인스턴스 수준 세그먼테이션의 정확도와 강건성이 어떻게 향상되는가?
• RQ3 세그먼테이션 및 국소화 네트워크의 공동 최적화가 단일 프레임 또는 단기 전파 방법보다 얼마나 뛰어난 성능을 내는가?
• RQ4 MaskRNN은 음영, 급속한 운동, 외관 변화가 있는 도전적인 벤치마크에서 최신 기술 대비 어떻게 성능을 내는가?

주요 결과

• DAVIS-2016 데이터셋에서 MaskRNN는 다음으로 우수한 준지도 학습 방법보다 평균 교차율(mIoU)이 0.6% 높아, 배경-전경 세그먼테이션 성능이 뛰어나다는 것을 입증한다.
• DAVIS-2017에서 MaskRNN는 인스턴스 수준 비디오 객체 세그먼테이션에서 최신 기술 대비 mIoU 5.6% 향상되어 다중 객체 추적에서 강력한 성능을 보였다.
• SegTrack v2 데이터셋에서 MaskRNN는 최고의 이전 방법보다 mIoU에서 4.6% 향상되어 다양한 도전적인 시퀀스에서의 강건성을 확인했다.
• 경계 상자 국소화와 RNN 기반 시간 모델링의 통합은 세그먼테이션 드리프트를 감소시키고, 특히 음영이 있는 장시간 비디오에서 일관성을 향상시켰다.
• 실패 사례는 주로 외관이 유사한 객체 또는 큰 시점/크기 변화로 인해 발생하며, 이러한 조건 하에서 외관 기반 추적의 한계를 드러낸다.
• 조밀한 CRF나 경계 스냅핑과 같은 후처리 기법에 의존하지 않고도 최신 기술 수준의 성능를 달성하여, 종합적인 엔드 투 엔드 일반화 능력이 뛰어나다는 것을 시사한다.