[논문 리뷰] Video Object Segmentation with Re-identification

Xiaoxiao Li, Yuankai Qi외 7명|arXiv (Cornell University)|2017. 08. 01.

Advanced Neural Network Applications참고 문헌 7인용 수 67

한 줄 요약

이 논문은 mask propagation과 re-identification을 결합한 두 모듈 시스템인 VS-ReID를 제시하여 비디오에서 물체를 견고하게 분할하고 DAVIS 2017 테스트 세트에서 최고 성능을 달성합니다. 마스크를 반복적으로 전파하고 누락된 인스턴스를 재식별하여 드리프트를 줄이고 큰 위치 이동을 처리합니다.

ABSTRACT

Conventional video segmentation methods often rely on temporal continuity to propagate masks. Such an assumption suffers from issues like drifting and inability to handle large displacement. To overcome these issues, we formulate an effective mechanism to prevent the target from being lost via adaptive object re-identification. Specifically, our Video Object Segmentation with Re-identification (VS-ReID) model includes a mask propagation module and a ReID module. The former module produces an initial probability map by flow warping while the latter module retrieves missing instances by adaptive matching. With these two modules iteratively applied, our VS-ReID records a global mean (Region Jaccard and Boundary F measure) of 0.699, the best performance in 2017 DAVIS Challenge.

연구 동기 및 목표

• 비디오 객체 분할에서 드리프팅 및 대형 물체 이동 시 추적 실패를 해결합니다.
• 누락된 인스턴스를 복구하기 위한 적응형 재식별 메커니즘을 도입합니다.
• 비디오 시퀀스 전반에 걸친 반복적 정제를 위해 패치 기반 마스크 전파 네트워크와 재식별 모듈을 결합합니다.
• DAVIS 2017 도전 과제에서 최첨단 결과를 시연하고 컴포넌트 각각의 ablation을 분석합니다.

제안 방법

• 마스크 전파 모듈은 RGB와 흐름의 두 스트림 네트워크를 사용하여 흐름 유도 왜곡과 패치 수준 정제를 통해 인접 프레임 간 픽셀 단위 마스크를 전파합니다.
• 객체 재식별(ReID) 모듈은 감지된 후보를 객체의 저장된 템플릿과 매칭하여 부족한 인스턴스를 재식별하고, ReID 특징의 코사인 유사도를 사용합니다.
• 전파와 재식별 사이를 번갈아 수행하는 반복 정제는 전체 시퀀스에서 마스크를 복구하고 전파합니다.
• 마스크 전파 네트워크에 대한 패치 기반 입력은 작은 객체와 미세한 디테일 처리를 개선하며, 고해상도 특징 맵과 확장 합성(convolutions)을 보조합니다.
• 검출(Faster R-CNN)과 ReID 네트워크는 ImageNet 유사 데이터셋에서 학습되며 재식별 작업에 맞게 조정됩니다.
• 반복 재방문 중 확률 맵이 손상되지 않도록 점검 지점(checkpoint) 메커니즘이 적용됩니다.

실험 결과

연구 질문

• RQ1 흐름 기반 마스크 전파와 장기 재식별을 결합하면 비디오 분할에서 차폐와 큰 물체 운동에 대한 견고함이 향상될 수 있는가?
• RQ2 ,
• RQ3 재식별이 단기적 시간 전파를 넘어서 누락된 인스턴스를 복구하는 데 어느 정도 기여하는가?
• RQ4 패치 기반 마스크 전파와 다중 스케일 테스트가 분할 정확도에 미치는 영향은 무엇인가?
• RQ5 VS-ReID의 반복적 정제가 시퀀스 전체에서 여러 인스턴스를 복구할 때 안정적인 개선을 제공하는가?

주요 결과

Table 1 Headers	Table 2 Headers
Baseline [11]	0.509	0.526	0.517	-
+ full-image to bbox	0.532	0.577	0.555	+0.038
+ flow-stream	0.568	0.600	0.584	+0.007
+ re-id module	0.633	0.670	0.652	+0.068
+ multi-scale testing	0.644	0.678	0.661	+0.009
Global results (DAVIS 2017 test-challenge)	69.9	-	-	-

• DAVIS 2017 test-challenge에서 글로벌 평균(Region Jaccard 및 Boundary F) 0.699를 달성하여 2017년 최상 성능을 기록했습니다.
• 바운딩 박스 입력이 전체 이미지, 흐름 스트림, ReID 모듈, 다중 스케일 테스트에 비해 상당한 이점을 보인다는 애블레이션 결과를 제시합니다.
• 재식별을 포함한 반복 정제는 중요한 향상을 제공합니다(예: ReID 모듈 추가 시 글로벌 평균 +0.068).
• 두 스트림(RGB + flow) 전파와 패치 기반 입력은 경계 정확도와 경계 재현을 개선합니다.
• 제안된 체크포인트 메커니즘은 프레임 간 반복 정제 중 손상을 완화합니다.