[논문 리뷰] Full-Duplex Strategy for Video Object Segmentation

Ge-Peng Ji, Deng-Ping Fan외 4명|arXiv (Cornell University)|2021. 08. 06.

Visual Attention and Saliency Detection참고 문헌 137인용 수 11

한 줄 요약

이 논문은 완전 이중화 전략 네트워크(FSNet)를 제안하며, 관계 기반 교차 attention 모듈(RCAM)과 이중 방향 정제 모듈(BPM)을 통해 외관 및 운동 특징 간의 이중 방향 특징 상호작용을 가능하게 하는 비디오 객체 분할을 위한 새로운 프레임워크이다. 이 방법은 다섯 가지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 운동 블러와 가림을 포함한 도전적인 조건에서도 강건성을 크게 향상시키고, 모odal 간 상호 제약을 통해 특징 이탈을 감소시킨다.

ABSTRACT

Previous video object segmentation approaches mainly focus on using simplex solutions between appearance and motion, limiting feature collaboration efficiency among and across these two cues. In this work, we study a novel and efficient full-duplex strategy network (FSNet) to address this issue, by considering a better mutual restraint scheme between motion and appearance in exploiting the cross-modal features from the fusion and decoding stage. Specifically, we introduce the relational cross-attention module (RCAM) to achieve bidirectional message propagation across embedding sub-spaces. To improve the model's robustness and update the inconsistent features from the spatial-temporal embeddings, we adopt the bidirectional purification module (BPM) after the RCAM. Extensive experiments on five popular benchmarks show that our FSNet is robust to various challenging scenarios (e.g., motion blur, occlusion) and achieves favourable performance against existing cutting-edges both in the video object segmentation and video salient object detection tasks. The project is publicly available at: https://dpfan.net/FSNet.

연구 동기 및 목표

• 기존의 비디오 객체 분할 방법이 외관 및 운동 특징의 단방향 또는 방향에 무관한 융합에 의존하는 한계를 해결하기 위해.
• 외관 및 운동 모달 간의 상호 제약을 통해 특징 일관성을 향상시키고 단기적 특징 이탈을 감소시키기 위해.
• 이중 방향 정보 흐름을 통해 공간-시간 표현을 효과적으로 활용하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 운동 블러, 가림, 혼잡한 배경과 같은 도전적인 상황에서의 강건성을 향상시키기 위해.

제안 방법

• 외관 및 운동 임bedding 하위 공간 간의 이중 방향 메시지 전달을 가능하게 하기 위해 관계 기반 교차 attention 모듈(RCAM)을 도입한다.
• 고수준 표현을 사용하여 저수준 특징을 반복적으로 정제함으로써 일관성 없는 특징을 수정하기 위해 이중 방향 정제 모듈(BPM)을 활용한다.
• BPM에서 인터리스드 감소 연결을 사용하여 고수준 특징을 집합에서 점으로 방향으로 하위 수준 특징에 전파한다.
• 인코딩 및 디코딩 동안 양방향 지도가 동시에 가능하게 하는 완전 이중화 전략을 적용한다.
• 더 나은 분할 마스크 정제를 위해 CRF 후처리를 통합한다.
• 이중 방향 상호작용의 기여도와 모델 복잡도의 기여도를 분리하기 위해 자기 정제 기반 모델을 설계한다.

실험 결과

연구 질문

• RQ1 외관 및 운동 특징 간의 이중 방향 상호작용이 단방향 또는 방향에 무관한 융합 대비 비디오 객체 분할 성능 향상에 기여하는가?
• RQ2 외관 및 운동 신호 간의 상호 제약이 시간적 시퀀스에서 특징 이탈을 어떻게 감소시키는가?
• RQ3 제안된 이중 방향 정제 메커니즘이 일관성 없는 특징을 수정하는 데 있어 단방향 또는 자기 정제 기반 모델보다 우수한가?
• RQ4 완전 이중화 전략이 운동 블러 및 가림과 같은 도전적인 시각 조건에서 강건성을 얼마나 향상시키는가?
• RQ5 제안된 프레임워크는 더 적은 레이블이 있는 훈련 데이터로 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• FSNet는 DAVIS16, YouTube-VOS, MCL 포함 다섯 가지 벤치마크에서 새로운 최신 기술 수준의 성능를 달성하였으며, DAVIS16에서 평균 재현율 지수(Jaccard index)는 86.7%이다.
• 유사한 아키텍처를 가진 자기 정제 기반 모델 대비 DAVIS16에서 Sα를 2.1% 향상시키고 MCL에서는 1.0% 향상시켰다.
• FSNet는 13,000개의 훈련 샘플로도 가장 우수한 비지도 VOS 모델(MAT)을 초월하며, MAT가 사용한 16,000개의 레이블이 있는 데이터보다도 더 낮은 레이블 수로 성능을 냈다.
• 이중 방향 정제 모듈(BPM)은 자기 정제 변형 대비 2.1%의 성능 향상을 기록하여 진정된 이중 방향 상호작용의 이점을 입증하였다.
• 완전 이중화 전략은 특징 이탈을 감소시키고 구조 세부 정보 정확도를 향상시켜 단순 전략과의 비교에서 명백히 시각적으로 입증되었다.
• 광범위한 분석 실험을 통해 성능 향상가 이중 방향 상호작용에서 기인하며, 단지 모델 복잡도 때문이 아니라는 것이 확인되었다.