[논문 리뷰] Fast Online Object Tracking and Segmentation: A Unifying Approach

Qiang Wang, Li Zhang외 3명|arXiv (Cornell University)|2018. 12. 12.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 98

한 줄 요약

SiamMask는 완전 합성곱 Siamese 추적기에 이진 분할 분기를 추가하여 실시간 객체 추적과 반지도 학습 비디오 객체 분할을 공동으로 수행하고, VOT-2018에서 실시간 추적의 최첨단을 달성하며 DAVIS-2016/2017에서 경쟁력 있고 가장 빠른 성능을 달성합니다.

ABSTRACT

In this paper we illustrate how to perform both visual object tracking and semi-supervised video object segmentation, in real-time, with a single simple approach. Our method, dubbed SiamMask, improves the offline training procedure of popular fully-convolutional Siamese approaches for object tracking by augmenting their loss with a binary segmentation task. Once trained, SiamMask solely relies on a single bounding box initialisation and operates online, producing class-agnostic object segmentation masks and rotated bounding boxes at 55 frames per second. Despite its simplicity, versatility and fast speed, our strategy allows us to establish a new state of the art among real-time trackers on VOT-2018, while at the same time demonstrating competitive performance and the best speed for the semi-supervised video object segmentation task on DAVIS-2016 and DAVIS-2017. The project website is http://www.robots.ox.ac.uk/~qwang/SiamMask.

연구 동기 및 목표

• 온라인 추적 및 비디오 객체 분할을 위한 간단하고 통합된 접근 방식을 모티브로 삼음.
• 프레임별 이진 마스크를 예측하여 대상 표현을 Bounding box 외에 향상시킴.
• Siamese 추적기의 오프라인 학습 가능성과 온라인 속도 특성을 유지함.
• 테스트 시간 미세 조정이나 무거운 데이터 증강 없이 실시간 성능을 입증함.

제안 방법

• Siamese 추적에 RoW(Region of Interest Window)마다 w×h 이진 마스크를 예측하는 마스크 분기를 확장함.
• 깊이 방향 교차상관을 사용하여 후보 유사성을 표현하는 조밀한 다채널 반응 맵을 생성함.
• 오프라인에서 세 가지 태스크 헤드를 학습: 유사성(L_sim), 마스크(L_mask), 경계 상자/점수(L_box/L_score) 손실을 joint 멀티태스크 목적에 병합함.
• 마스크를 여러 해상도 피처 융합과 스킵 연결을 이용해 마스크 정제를 수행하는 전략을 따름.
• 온라인 추적을 위한 참조 상자 전략이 다른 두 가지 추론 변형: SiamMask-2B(두 분기) 및 SiamMask(세 분기)로 제공됨.
• 마스크를 이용해 축 정렬 박스 또는 회전된 박스로 변환하는 방법(Min-max, MBR, Opt)으로 경계선 출력 평가를 수행함.

실험 결과

연구 질문

• RQ1 단일 오프라인 학습된 Siamese 네트워크가 테스트 시 미세 조정 없이 온라인 추적 및 프레임별 분할 마스크를 생산할 수 있는가?
• RQ2 분할 분기를 추가하면 추적 정확도가 향상되고 실시간으로 고품질의 픽셀 정확도 객체 표현을 가능하게 하는가?
• RQ3 마스크 기반 표현이 실시간 추적 벤치마크(VOT) 및 반지도 학습 VOS 벤치마크(DAVIS, YouTube-VOS)에서 성능에 어떤 영향을 미치는가?
• RQ4 세 가지 경계 상자 생성 전략(Min-max, MBR, Opt) 간의 트레이드오프는 무엇이며 분할 마스크에서 경계 상자를 도출할 때 어떻게 달라지는가?

주요 결과

• SiamMask는 테스트 시 적응 없이 RTX 2080 GPU에서 55–60 fps의 실시간 작동을 달성함.
• VOT-2018에서 MBR/Opt 표현을 사용하는 SiamMask는 실시간 추적기 중에서 최첨단 성능을 달성하며 EAO 및 정확도 지표에서 주목할 만한 개선을 보임.
• SiamMask는 DAVIS-2016/2017에서 최근의 빠른 VOS 접근법과 경쟁력이 있으며, 미세 조정에 의존하지 않는 강한 베이스라인 중 가장 빠름.
• 두 가지 변형인 SiamMask-2B와 SiamMask는 속도와 정확도 간 트레이드오프를 보여 주며, 3-분기 버전이 더 높은 정확도를 제공하고 2-분기 버전이 더 빠른 추론을 제공함.
• 마스크 분기를 사용해 경계 상자 생성을 알려주면 벤치마크 전반에서 경계 상자 기반 지표가 향상됨.