[논문 리뷰] Learning Video Object Segmentation from Static Images

Anna Khoreva, Federico Perazzi외 3명|arXiv (Cornell University)|2016. 12. 08.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 70

한 줄 요약

이 논문은 정적 이미지 데이터로만 훈련된 컨volution 신경망을 사용하여 비디오 객체 분할을 지도형 인스턴스 분할 문제로 간주하는 새로운 접근법을 제안한다. 이전 프레임의 예측 결과를 기반으로 한 오프라인 정련과 온라인 미세조정을 결합함으로써, 최소한의 애너테이션으로도 높은 정확도의 분할을 달성한다. 단지 10%의 프레임만 애너테이션을 받더라도 평균 IoU가 86%에 도달하며, 입력으로도 경계 상자만 제공되어도 성능을 유의미하게 유지한다.

ABSTRACT

Inspired by recent advances of deep learning in instance segmentation and object tracking, we introduce video object segmentation problem as a concept of guided instance segmentation. Our model proceeds on a per-frame basis, guided by the output of the previous frame towards the object of interest in the next frame. We demonstrate that highly accurate object segmentation in videos can be enabled by using a convnet trained with static images only. The key ingredient of our approach is a combination of offline and online learning strategies, where the former serves to produce a refined mask from the previous frame estimate and the latter allows to capture the appearance of the specific object instance. Our method can handle different types of input annotations: bounding boxes and segments, as well as incorporate multiple annotated frames, making the system suitable for diverse applications. We obtain competitive results on three different datasets, independently from the type of input annotation.

연구 동기 및 목표

• 비디오 객체 분할에서 높은 애너테이션 비용 문제를 해결하기 위해, 밀도 있는 픽셀 수준의 비디오 데이터 애너테이션 필요성을 제거한다.
• 비디오 수준의 비용이 많이 드는 애너테이션에 의존하지 않고도 정확한 비디오 객체 분할을 가능하게 한다.
• 장시간 비디오 시퀀스에 적합한, 글로벌 최적화 없이 프레임 단위로 분할을 수행하는 일반적이고 효율적인 시스템을 개발한다.
• 경계 상자 및 희박한 분할 마스크와 같은 다양한 종류의 애너테이션 유형에 대해 강건성을 입증한다.
• 동일한 모델과 파라미터로 여러 다양하고 이질적인 벤치마크에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 이전 프레임의 마스크 예측 결과를 지도로 사용하여 사전 훈련된 인스턴스 분할 네트워크를 사용해 프레임 단위로 분할한다.
• 오프라인 학습 단계에서는 정적 이미지 마스크에 대한 변형 및 군집화 연산을 사용해 원시 마스크 추정치를 정련하는 데 네트워크를 훈련한다.
• 온라인 미세조정은 새로운 비디오에서 특정 객체 인스턴스에 맞게 네트워크를 적응시키며, 첫 번째 또는 여러 개의 애너테이션 프레임만 사용한다.
• 시스템은 전방향 아키텍처를 활용해 실시간 추론을 지원하며, 글로벌 시공간 최적화를 피한다.
• 입력 애너테이션은 유연하다: 경계 상자, 분할 마스크, 또는 다수의 애너테이션 프레임을 모두 지원한다.
• 경계 상자 애너테이션의 경우, 시스템은 이를 의사 분할 마스크로 변환하고 동일한 분할 헤드를 적용함으로써 상자에서부터 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정적 이미지 데이터로만 훈련된 모델이 비디오 수준의 애너테이션 없이도 고정확도의 비디오 객체 분할을 달성할 수 있는가?
• RQ2 이전 프레임의 예측 결과를 시간적 지도로 사용하는 지도형 인스턴스 분할의 효과는 어떠한가?
• RQ3 완전한 마스크 애너테이션 대비 경계 상자 애너테이션만으로도 경쟁 가능한 분할 성능을 달성할 수 있는가?
• RQ4 애너테이션 프레임의 수와 분포가 다양한 비디오 데이터셋에서 분할 정확도에 어떤 영향을 미치는가?
• RQ5 단일이고 일반적인 모델이 동일한 파라미터로 다양한 비디오 벤치마크에서 일관된 성능을 유지할 수 있는가?

주요 결과

• DAVIS 데이터셋에서 프레임의 10%만 애너테이션을 받더라도 평균 IoU가 86%에 도달하여, 극히 적은 지도 데이터로도 뛰어난 성능을 보였다.
• 비디오당 한 개의 애너테이션 프레임만으로도 85% mIoU를 달성하여, 애너테이션 사용 효율성이 매우 높음을 입증했다.
• 경계 상자 애너테이션만으로도 30번째 백분위수에서 80% mIoU를 기록하여, 약한 지도 학습에 대해 매우 강건함을 보였다.
• 10%의 애너테이션 프레임과 분할 마스크를 사용할 경우, 20번째 백분위수의 결과에서도 mIoU가 81%를 유지하여 대부분의 프레임에서 일관된 성능을 보였다.
• 1개에서 2개 또는 3개의 애너테이션 프레임으로 증가할 때 성능이 급격히 향상되며(1% → 3% → 4%의 프레임 비율), 추가 애너테이션의 효과가 뚜렷하게 드러났다.
• 가장 가까운 애너테이션 프레임에서 복사하는 기준 모델은 10% 애너테이션 비율에서 단지 64% mIoU를 기록하여, 제안 방법이 단순 기준 모델에 비해 뚜렷한 성능 향상을 보임을 시사한다.