[논문 리뷰] MHP-VOS: Multiple Hypotheses Propagation for Video Object Segmentation

Shuangjie Xu, Daizong Liu외 3명|arXiv (Cornell University)|2019. 04. 17.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 10

한 줄 요약

MHP-VOS는 운동 게이팅된 제안과 새로운 마스크 전파 점수를 활용하여 시간적 추적 트리를 구축함으로써 객체 연관 결정을 연기하는 다중 가설 전파 프레임워크를 제안한다. 이는 막힘과 객체 유실에 대한 강건성을 크게 향상시키며, 최적의 초모수 조건 하에서 DAVIS2016에서 평균 JIoU 86.9%, DAVIS2017에서 69.7%를 기록하여 SOTA 성능을 달성한다.

ABSTRACT

We address the problem of semi-supervised video object segmentation (VOS), where the masks of objects of interests are given in the first frame of an input video. To deal with challenging cases where objects are occluded or missing, previous work relies on greedy data association strategies that make decisions for each frame individually. In this paper, we propose a novel approach to defer the decision making for a target object in each frame, until a global view can be established with the entire video being taken into consideration. Our approach is in the same spirit as Multiple Hypotheses Tracking (MHT) methods, making several critical adaptations for the VOS problem. We employ the bounding box (bbox) hypothesis for tracking tree formation, and the multiple hypotheses are spawned by propagating the preceding bbox into the detected bbox proposals within a gated region starting from the initial object mask in the first frame. The gated region is determined by a gating scheme which takes into account a more comprehensive motion model rather than the simple Kalman filtering model in traditional MHT. To further design more customized algorithms tailored for VOS, we develop a novel mask propagation score instead of the appearance similarity score that could be brittle due to large deformations. The mask propagation score, together with the motion score, determines the affinity between the hypotheses during tree pruning. Finally, a novel mask merging strategy is employed to handle mask conflicts between objects. Extensive experiments on challenging datasets demonstrate the effectiveness of the proposed method, especially in the case of object missing.

연구 동기 및 목표

• 막힘, 큰 변형, 객체 재진입 상황에서 탐색적 데이터 연관 기법의 한계를 해결하기 위해.
• 큰 운동 또는 변형으로 인해 외관 유사도가 실패하는 어려운 상황에서의 강건성을 향상시키기 위해.
• 전체 영상 컨텍스트를 고려한 후에야 객체 연관을 결정함으로써 전역적이고 장기적인 의사결정을 가능하게 하기 위해.
• 다중 객체 설정에서의 객체 갈등을 새로운 마스크 병합 전략을 통해 해결하기 위해.

제안 방법

• 운동 게이팅된 영역 내에서 클래스 무관 객체 제안을 통해 초기 바운딩 박스를 전파함으로써 추적 트리를 구축하며, 기존 칼만 필터링 대신 더 포괄적인 운동 모델을 사용한다.
• 프레임 간 마스크 일관성에 기반한 새로운 마스크 전파 점수를 도입하여 변형 상황에서 열악해지는 취약한 외관 유사도 점수를 대체한다.
• 운동에 기반해 역동적으로 정의된 영역으로 후보 제안을 제한하는 게이팅 기법을 적용하여 가설의 관련성을 향상시킨다.
• 운동과 마스크 전파 점수를 조합한 가중 친화도 점수를 사용하여 트리 정제를 이끌며, 초모수는 그리드 서치를 통해 최적화한다.
• 최종 가설 선택을 연기하기 위해 N-스캔 정제를 적용하여 성능과 추론 속도의 균형을 맞춘다.
• 겹치는 객체 간의 갈등을 해결하기 위해, 모호한 겹침 영역에서 정체성을 분류하는 마스크 병합 전략을 구현한다.

실험 결과

연구 질문

• RQ1 막힘과 변형 상황에서 객체 연관 결정을 연기함으로써, 반독점적 영상 객체 분할의 정확도 향상이 가능한가?
• RQ2 운동 게이팅된 가설 트리는 칼만 필터링 대비 프레임 간 추적 일관성을 유지하는 데 얼마나 효과적인가?
• RQ3 공간 일관성에 기반한 마스크 전파 점수가 변형이 큰 상황에서 외관 유사도 점수를 능가할 수 있는가?
• RQ4 제안된 마스크 병합 전략은 겹치는 객체 간의 갈등을 효과적으로 해결하는가?
• RQ5 실시간 응용에서 의사결정 지연(N-스캔 정제)과 추론 속도 사이의 상충 관계는 어떠한가?

주요 결과

• MHP-VOS는 DAVIS2016 검증 세트에서 평균 JIoU 86.9%를 기록하며, 이는 이전 SOTA인 OSVOS-S 대비 글로벌 평균 지표에서 0.3% 향상된 성능이다.
• DAVIS2017에서 MHP-VOS는 N=5 조건에서 평균 JIoU 69.7%를 달성하여 지연된 의사결정에 기반한 뚜렷한 성능 향상을 입증했다.
• MSK라는 강력한 베이스라인 대비 글로벌 평균 성능을 9.3% 향상시켜 어려운 시퀀스에 대한 강건성을 입증했다.
• 최적의 초모수로 wm=0.3과 wn=-0.4를 도출하였으며, N=3가 성능과 정확도 사이의 최적 균형을 제공함을 확인했다.
• qualitative 분석을 통해 ' deer ' 및 ' tennis-vest ' 시퀀스에서 외관 유사도로 인한 실패 케이스가 마스크 전파 점수로 감소하는 것으로 확인되었다.
• 제안된 마스크 병합 전략은 겹치는 객체 영역에서의 정체성 혼동을 효과적으로 해결하여, 모호한 경우의 오분류를 감소시켰다.