[논문 리뷰] Efficient Regional Memory Network for Video Object Segmentation

Haozhe Xie, Hongxun Yao외 3명|arXiv (Cornell University)|2021. 03. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 38인용 수 9

한 줄 요약

이 논문은 지역 간 특징 매칭을 통해 유사한 물체로 인한 모호성과 계산 비용을 줄이는 새로운 반감독 비디오 객체 세분화 방법인 Regional Memory Network(RMNet)을 제안한다. 메모리의 객체 영역과 쿼리 프레임 간의 국소적-국소적 특징 매칭을 활용함으로써 DAVIS 및 YouTube-VOS에서 최신 기준 성능을 달성하면서도 인퍼런스 속도가 크게 향상된다.

ABSTRACT

Recently, several Space-Time Memory based networks have shown that the object cues (e.g. video frames as well as the segmented object masks) from the past frames are useful for segmenting objects in the current frame. However, these methods exploit the information from the memory by global-to-global matching between the current and past frames, which lead to mismatching to similar objects and high computational complexity. To address these problems, we propose a novel local-to-local matching solution for semi-supervised VOS, namely Regional Memory Network (RMNet). In RMNet, the precise regional memory is constructed by memorizing local regions where the target objects appear in the past frames. For the current query frame, the query regions are tracked and predicted based on the optical flow estimated from the previous frame. The proposed local-to-local matching effectively alleviates the ambiguity of similar objects in both memory and query frames, which allows the information to be passed from the regional memory to the query region efficiently and effectively. Experimental results indicate that the proposed RMNet performs favorably against state-of-the-art methods on the DAVIS and YouTube-VOS datasets.

연구 동기 및 목표

• 공간-시간 메모리 네트워크에서 전역-전역 매칭의 한계를 해결하기 위해, 유사한 물체로 인한 오매칭과 높은 계산 비용을 초래하는 문제를 해결한다.
• 외형 변화, 가림, 변형 상황에서도 국소적 객체 영역에 집중함으로써 객체 추적의 강건성을 향상시킨다.
• 메모리와 쿼리 프레임 양쪽 모두에서 목표 물체를 포함한 영역에만 주의를 집중시켜 특징 매칭의 계산 복잡도를 감소시킨다.
• 효율적인 영역 추적과 국소적 매칭을 통해 인퍼런스 속도를 향상시키면서도 정확도를 유지하거나 향상시킨다.

제안 방법

• 과거 프레임에서 목표 물체가 포함된 영역의 특징만 저장하여 배경과 무관한 특징을 피하는 지역 메모리 구축.
• 연속 프레임 간의 광학 흐름 추정을 통해 이전 마스크를 왜곡하고 현재 프레임에서 쿼리 영역의 위치를 예측.
• 왜곡된 마스크를 기반으로 쿼리 영역을 정의하는 Flow-based Region 전략을 적용하여 정적 또는 최적 매칭 영역보다 정확도를 향상.
• 메모리와 쿼리 프레임의 대응하는 객체 영역 간에 국소적-국소적 특징 매칭을 수행하는 Regional Memory Reader 도입.
• 빠른 인퍼런스를 위해 정확도를 유지하면서도 계산 시간을 줄이는 경량 TinyFlowNet 활용.
• 지역 특징 간 유사도 점수를 활용해 세그멘테이션 레이블을 할당하며, 높은 점수는 신뢰도 높은 예측을 의미한다.

실험 결과

연구 질문

• RQ1 메모리와 쿼리 프레임의 객체 영역 간 국소적-국소적 매칭이 전역-전역 매칭 대비 유사한 물체로 인한 모호성을 줄일 수 있는가?
• RQ2 메모리와 쿼리 프레임의 목표 물체를 포함한 영역에만 특징 매칭을 국한시키는 것이 계산 효율성과 세그멘테이션 정확도 향상에 기여하는가?
• RQ3 흐름 기반 영역 예측 방식이 이전 방법 대비 정위치 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ4 TinyFlowNet와 같은 경량 광학 흐름 네트워크가 인퍼런스 시간을 크게 줄이면서도 성능을 유지할 수 있는가?
• RQ5 지역 메모리와 국소적 매칭이 벤치마크 데이터셋에서 전체 세그멘테이션 성능에 기여하는 정도는 어떠한가?

주요 결과

• RMNet는 DAVIS 2017 데이터셋에서 평균 JIoU 0.810과 평균 F-measure 0.860을 기록하여 최신 기준 기법들을 초월한다.
• 제안된 Regional Memory Reader 덕분에 V100 GPU에서 프레임당 특징 매칭 시간이 2.09ms로 단축되어 전역 매칭 대비 5.5배 빠른 속도 향상.
• Flow-based Region를 사용한 쿼리 영역 예측은 평균 점수 0.835를 기록하여 이전 영역(0.792)과 최적 매칭 영역(0.819)을 모두 초월.
• TinyFlowNet를 FlowNet2-CSS 또는 RAFT로 교체해도 정확도는 거의 동일하게 유지되며(F-measure: 0.860 vs. 0.859), 하지만 RMNet에 TinyFlowNet를 사용할 경우 각각 6배, 16배 더 빠른 인퍼런스 속도 확보.
• 제거 실험 결과, 메모리와 쿼리 프레임 양쪽 모두에서 국소적 매칭을 수행하는 것이 가장 높은 성능(평균 점수 0.835)을 내며, 국소적-국소적 매칭의 효과성을 입증.
• 국소적이고 흐름 유도 영역 추적 덕분에 물체 변형과 가림 상황에서도 강건성을 확보하며, 오차 누적도 감소함.