[논문 리뷰] Video Object Segmentation using Tracked Object Proposals

Gilad Sharir, Eddie Smolyansky외 1명|arXiv (Cornell University)|2017. 07. 20.

Visual Attention and Saliency Detection참고 문헌 7인용 수 9

한 줄 요약

이 논문은 한 번의 학습된 외관 네트워크를 의미적 객체 검출 및 시간적 추적과 결합하여 분할 정확도와 강건성을 향상시키는 준지도 학습 영상 객체 분할 방법을 제안한다. 추적된 바운딩 박스를 활용해 외관 기반 마스크의 연결 성분을 필터링함으로써, DAVIS-2017에서 J_mean 80.1의 최신 기술 수준(SOTA) 성능을 달성하면서도, 간소화된 네트워크 깊이와 손실 구조 덕분에 학습 시간을 10배 감소시켰다.

ABSTRACT

We present an approach to semi-supervised video object segmentation, in the context of the DAVIS 2017 challenge. Our approach combines category-based object detection, category-independent object appearance segmentation and temporal object tracking. We are motivated by the fact that the objects semantic category tends not to change throughout the video while its appearance and location can vary considerably. In order to capture the specific object appearance independent of its category, for each video we train a fully convolutional network using augmentations of the given annotated frame. We refine the appearance segmentation mask with the bounding boxes provided either by a semantic object detection network, when applicable, or by a previous frame prediction. By introducing a temporal continuity constraint on the detected boxes, we are able to improve the object segmentation mask of the appearance network and achieve competitive results on the DAVIS datasets.

연구 동기 및 목표

• 유사한 물체로 인한 오진 및 외관 변화로 인한 성능 저하와 같은 일회성 외관 네트워크의 한계를 해결하기 위해.
• 의미적 객체 검출 및 시간적 추적을 보조 지도로 통합하여 분할의 강건성을 향상시키기 위해.
• 성능을 저하시키지 않고 일회성 외관 네트워크의 학습 시간을 크게 단축시키기 위해.
• 실제 사용자가 촬영한 영상에서 방법의 성능을 검증하고 실용성을 입증하기 위해.

제안 방법

• 단일 레이블링 프레임에서 데이터 증강을 사용해 엔드 투 엔드로 훈련되는 완전 컨volution 네트워크로, 학습 속도를 높이기 위해 간소화된 아키텍처(1개의 사이드 출력, 단일 손실)를 사용한다.
• 의미적 객체 검출이 시간에 따라 프레임 간 이동을 일관되게 유지하도록 바운딩 박스를 추적한다.
• 추적된 바운딩 박스 결과를 사용해 추적 영역 내 연결 성분을 필터링함으로써 외관 네트워크의 분할 마스크를 자르고 개선한다.
• 외관 마스크와의 오버랩을 기반으로 추적된 영역 내 연결 성분을 선택함으로써 국소화 정확도를 향상시킨다.
• 시간 연속성을 위해 객체 후보 영역을 프레임 간 추적함으로써 드리프트를 줄이고 마스크 일관성을 향상시킨다.
• 외관, 검출, 추적 신호를 다단계 파이프라인으로 조합한다: 외관 예측 → 바운딩 박스 정밀화 → 연결 성분을 통한 마스크 필터링.

실험 결과

연구 질문

• RQ1 의미적 객체 검출은 카테고리 독립 영상 객체 분할의 정확도를 향상시킬 수 있는가?
• RQ2 객체 후보 영역의 시간적 추적은 영상 프레임 간 분할 일관성을 어떻게 향상시키는가?
• RQ3 일회성 외관 네트워크의 학습 시간을 성능 저하 없이 크게 단축시킬 수 있는가?
• RQ4 복잡하고 다양한 외관을 가진 실제 사용자가 촬영한 영상에 대해 이 방법은 얼마나 잘 일반화되는가?

주요 결과

• DAVIS-2017 검증 세트에서 J_mean 80.1을 달성하여 베이스라인 OSVOS 방법을 능가한다.
• DAVIS-2016 데이터셋에서, OSVOS의 50,000번의 학습 반복 대비 4,000번의 반복만으로도 J_mean 80.1을 달성한다.
• 외관 네트워크를 단일 사이드 출력과 단일 손실 레이어로 단순화함으로써 학습 시간을 10배 감소시켰다.
• 내부 150개의 사용자가 촬영한 영상 데이터셋에서 J_mean 86.6을 달성하여 실제 환경 조건에서의 강력한 일반화 능력을 입증한다.
• 초기 프레임의 레이블링이 불완전하더라도 시스템이 여전히 강건하게 작동함을 확인하여 상호작용 환경에서의 실용성을 시사한다.
• 제거 분석 결과, 시간적 추적과 바운딩 박스 클리핑이 성능 향상에 크게 기여하며, 전체 파이프라인은 DAVIS-2016에서 J_mean 80.1을 달성한다.