[논문 리뷰] Prediction-Tracking-Segmentation

Jianren Wang, Yihui He외 3명|ArXiv.org|2019. 04. 05.

Video Surveillance and Tracking Methods참고 문헌 72인용 수 10

한 줄 요약

이 논문은 운동 예측과 적응형 검색 영역을 통합함으로써 시각 추적 및 비디오 객체 분할을 향상시키는 통합 프레임워크인 예측-추적-분할(PTS)을 제안한다. 칼만 필터를 사용해 객체 위치를 예측하고 국소화된, 속도 인식 검색 영역을 통해 추적를 정밀화함으로써, PTS는 VOT 2016, VOT 2018, DAVIS 2016, DAVIS 2017에서 최신 기술 수준(SOTA) 성능을 달성하며, 가림, 오염 물체, 카메라 움직임에 대한 강건성을 크게 향상시킨다.

ABSTRACT

We introduce a prediction driven method for visual tracking and segmentation in videos. Instead of solely relying on matching with appearance cues for tracking, we build a predictive model which guides finding more accurate tracking regions efficiently. With the proposed prediction mechanism, we improve the model robustness against distractions and occlusions during tracking. We demonstrate significant improvements over state-of-the-art methods not only on visual tracking tasks (VOT 2016 and VOT 2018) but also on video segmentation datasets (DAVIS 2016 and DAVIS 2017).

연구 동기 및 목표

• 외관 전용 추적 방법이 오염 물체, 가림, 카메라 움직임을 다루는 데에 한계가 있음을 해결하기 위해.
• 인간 시각 인지에서 영감을 얻은 예측 모델링을 통합하여 추적 및 분할 정확도를 향상시키기 위해.
• 예측된 운동 기반으로 적응형이고 국소화된 검색 영역을 사용함으로써 계산 오버헤드를 줄이기 위해.
• 예측, 추적, 분할을 하나의 엔드 투 엔드 프레임워크로 통합하여 비디오 이해를 향상시키기 위해.
• 고속 운동과 혼잡한 시나리오에서 운동 예측과 적응형 검색의 효과를 입증하기 위해.

제안 방법

• 카메라 움직임과 객체 운동을 분리하기 위해 칼만 필터 기반 예측 모듈을 사용해 향후 객체 위치를 추정한다.
• 예측된 객체 속도와 크기에 기반해 크기와 위치가 동적으로 조정되는 적응형 검색 영역을 적용하여 검색 공간을 줄인다.
• 예측된 영역을 시아모이드 기반 추적기(SiamMask)의 사전 조건으로 통합하여 국소화 정확도를 향상시킨다.
• 예측에 의해 유도된 다음 프레임의 외관 특징을 사용해 추적 및 분할 결과를 정밀화한다.
• 정밀화된 추적 출력을 반복적으로 사용해 예측 모델을 업데이트함으로써 시간적 일관성을 확보한다.
• 두 단계 추론을 수행한다: 먼저 객체 위치를 예측하고, 그 다음 국소화된 특징을 사용해 검출 및 분할을 정밀화한다.

실험 결과

연구 질문

• RQ1 운동 예측은 가림 및 오염 물체 조건에서 추적 강건성을 향상시킬 수 있는가?
• RQ2 예측된 운동 기반 적응형 검색 영역은 추적 및 분할 정확도를 어떻게 향상시키는가?
• RQ3 예측을 추적에 통합함으로써 VOT 및 DAVIS와 같은 표준 벤치마크에서 성능 향상은 어느 정도 이루어지는가?
• RQ4 예측, 추적, 분할을 통합한 프레임워크는 비디오 이해 작업에서 전용 모델을 초월할 수 있는가?
• RQ5 제안된 방법은 외관 전용 기반선 대비 고속 이동 객체와 카메라 움직임을 어떻게 다루는가?

주요 결과

• VOT 2018에서 PTS는 EAO 점수 0.397을 기록하여 SiamMask(0.380)를 초월하며 강건성과 정확도 향상을 입증한다.
• DAVIS 2016에서 PTS는 Jaccard 지수(J)를 SiamMask의 0.713에서 0.732로 향상시키고, F-측정을 0.674에서 0.692로 개선한다.
• DAVIS 2017에서 PTS는 J를 0.543에서 0.554로, F를 0.585에서 0.604로 상승시켜 분할 품질 향상이 일관되게 나타난다.
• 절단 분석 결과, 예측 모듈이 EAO 향상에 가장 기여하며(기본 모델 대비 0.394 vs. 0.380), 추적 모듈은 미미한 기여를 한다.
• 정성적 결과에서는 PTS가 고속 이동(예: Bolt)과 카메라 진동(예: 차량 장면) 상황에서도 정확도를 유지하며, 정체성 전환과 혼란을 피함을 보여준다.
• PTS는 SiamMask가 실패하는 바람에 꼬리 부분을 정확히 포착하거나 사람과 soapsbox를 분리하는 등 더 완전하고 정확한 분할 마스크를 생성한다.