[논문 리뷰] Super-Trajectory for Video Segmentation

Wenguan Wang, Jianbing Shen외 2명|arXiv (Cornell University)|2017. 02. 28.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 12

한 줄 요약

이 논문은 DAVIS 데이터셋에서 0.736의 평균 IoU를 기록하며, 음영, 변형, 외관 변화와 같은 복잡한 조건에서도 우수한 성능을 보이는, 준지도 학습 비디오 세그멘테이션 방법인 Super-Trajectory(STV)를 제안한다. STV는 수정된 밀도 점집합 클러스터링 알고리즘을 사용해 움직임이 일관되고 밀도가 높은 궤적을 공간-시간적으로 일관된 슈퍼궤적 단위로 군집화한다. 장기적 운동 패턴을 모델링하고 역추적 및 물체 재등장 기반 전파 전략을 활용함으로써, 음영, 변형, 외관 변화에 대한 강건성을 확보한다.

ABSTRACT

We introduce a novel semi-supervised video segmentation approach based on an efficient video representation, called as "super-trajectory". Each super-trajectory corresponds to a group of compact trajectories that exhibit consistent motion patterns, similar appearance and close spatiotemporal relationships. We generate trajectories using a probabilistic model, which handles occlusions and drifts in a robust and natural way. To reliably group trajectories, we adopt a modified version of the density peaks based clustering algorithm that allows capturing rich spatiotemporal relations among trajectories in the clustering process. The presented video representation is discriminative enough to accurately propagate the initial annotations in the first frame onto the remaining video frames. Extensive experimental analysis on challenging benchmarks demonstrate our method is capable of distinguishing the target objects from complex backgrounds and even reidentifying them after long-term occlusions.

연구 동기 및 목표

• 음영, 운동 블러, 외관 변화와 같은 복잡한 조건에서 정확한 비디오 객체 세그멘테이션을 해결하기 위해.
• 장기적 운동, 공간적 밀도, 프레임 간 외관 일관성을 반영하는 강력한 비디오 표현을 개발하기 위해.
• 궤적을 고차원의 시공간 단위로 군집화함으로써 준지도 학습 비디오 세그멘테이션에서 레이블 전파 성능을 향상시키기 위해.
• 확률적 궤적 생성 모델과 역추적 전략을 통해 드리프트 및 음영에 대한 민감도를 감소시키기 위해.
• DAVIS 및 SegTrack-V2와 같은 벤치마크 데이터셋에서 기존 SOTA 방법을 초월하기 위해.

제안 방법

• 움직임의 전이를 시간에 따라 모델링하는 마르코프 기반 확률적 모델을 사용해 궤적을 생성함으로써, 음영과 드리프트를 자연스럽게 처리한다.
• 지역 밀도와 거리 기반으로 궤적을 군집화하는 수정된 밀도 점집합 클러스터링(DPC) 알고리즘을 적용해 강력하고 직관적인 슈퍼궤적 형성을 가능하게 한다.
• 슈퍼궤적은 일관된 운동, 유사한 외관, 그리고 가까운 시공간적 근접성을 가진 궤적의 집합으로 정의된다.
• 프레임 외부에서 기인한 점들을 제거하기 위해 역추적 기법을 적용하여 카메라 운동 간섭을 줄인다.
• 물체 재등장 패턴을 활용해 음영 이후에도 목표물을 재확인함으로써 장기적 추적의 강건성을 향상시킨다.
• 세그멘테이션은 슈퍼궤적 수준에서 수행되며, 초기 레이블을 첫 번째 프레임에서 시공간 일관성 기반으로 전파한다.

Figure 1: Our video segmentation method takes the first frame annotation as initialization (left). Leveraging on super-trajectories, the segmentation process achieves superior results even for challenging scenarios including heavy occlusions, complex appearance variations, and large shape deformatio

실험 결과

연구 질문

• RQ1 움직임이 일관되고 공간적으로 가까운 점들을 군집화한 궤적 기반 비디오 표현이 음영과 변형 조건에서 세그멘테이션의 강건성을 향상시킬 수 있는가?
• RQ2 기존 클러스터링 방법과 비교해 복잡한 슈퍼궤적 형성에 있어 수정된 밀도 점집합 클러스터링 알고리즘이 어떤가?
• RQ3 확률적 궤적 모델링이 장기적 비디오 세그멘테이션에서 드리프트를 줄이고 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ4 역추적 및 재등장 분석이 완전한 음영 이후에도 세그멘테이션된 객체를 회복하는 데 얼마나 효과적인가?
• RQ5 복잡한 비디오 시퀀스에서 슈퍼궤적 수준의 세그멘테이션은 픽셀 수준 또는 패치 수준의 전파 방식을 능가하는가?

주요 결과

• 제안된 STV 방법은 DAVIS 2016 벤치마크에서 0.736의 평균 IoU 스코어를 기록하며, 비교된 모든 SOTA 방법을 능가한다.
• SegTrack-V2 데이터셋에서 STV는 IoU 0.781을 기록하여, 두 번째로 우수한 성능을 보인 JOT(0.718)를 크게 앞서며 뚜렷한 우월성을 입증한다.
• 아블레이션 스터디 결과, 제안된 궤적 생성 방법은 0.736의 IoU를 기록하며 LTM(0.718)과 DAD(0.654)를 모두 초월함으로써 그 우수성을 입증한다.
• 파라미터 분석 결과, K=1200개의 공간 격자와 N=8개의 최근접 이웃에서 최적의 성능을 기록하며, 이 이상의 값에서는 성능이 정체됨을 확인했다.
• 정성적 결과는 빠른 운동(예: 브레이크댄스-플레어), 큰 변형(개-자율주행), 장시간 음영(리비) 등 도전적인 상황에서도 정확한 세그멘테이션을 보여준다.
• 메서드는 시공간 재등장 패턴을 활용해 음영 이후에도 물체를 효과적으로 재확인함으로써 장기적 추적의 안정성을 향상시킨다.

Figure 2: Illustration of initial super-trajectory generation. (a) The arrows indicate trajectories and the dots indicate the initial location of trajectory. (b) We roughly divide all the trajectories into $K$ groups with a given number of spatial grids $K=4$ .