[논문 리뷰] Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation

Ho Kei Cheng, Yu‐Wing Tai외 1명|arXiv (Cornell University)|2021. 06. 09.

Video Surveillance and Tracking Methods참고 문헌 80인용 수 132

한 줄 요약

이 논문은 STCN을 소개하는데, 이는 dot product 대신 음수 제곱 유클리드 거리(L2)를 사용한 이미지 간 친화성을 활용하는 메모리 효율적인 시공간 상응 네트워크로서, 다양화된 메모리 투표를 가능하게 하고 최첨단이면서 빠른 준지도 비디오 객체 분할을 수행합니다.

ABSTRACT

This paper presents a simple yet effective approach to modeling space-time correspondences in the context of video object segmentation. Unlike most existing approaches, we establish correspondences directly between frames without re-encoding the mask features for every object, leading to a highly efficient and robust framework. With the correspondences, every node in the current query frame is inferred by aggregating features from the past in an associative fashion. We cast the aggregation process as a voting problem and find that the existing inner-product affinity leads to poor use of memory with a small (fixed) subset of memory nodes dominating the votes, regardless of the query. In light of this phenomenon, we propose using the negative squared Euclidean distance instead to compute the affinities. We validated that every memory node now has a chance to contribute, and experimentally showed that such diversified voting is beneficial to both memory efficiency and inference accuracy. The synergy of correspondence networks and diversified voting works exceedingly well, achieves new state-of-the-art results on both DAVIS and YouTubeVOS datasets while running significantly faster at 20+ FPS for multiple objects without bells and whistles.

연구 동기 및 목표

• 준지도 VOS를 위한 시공간 매칭에 대해 더 간단하고 더 메모리 효율적인 접근법을 제안한다.
• STM의 객체별 메모리 읽기를 프레임 간 친화성으로 대체하고 이는 객체 간 재사용된다.
• 다양성과 메모리 노드 활용을 향상시키기 위해 친화 함수와 메모리 커버리지를 조사한다.
• L2 기반 친화성이 다양화된 투표를 낳고 정확도와 속도를 모두 향상시킨다는 것을 입증한다.

제안 방법

• Key Encoder(image input)와 Value Encoder(image and mask input)를 갖춘 Space-Time Correspondence Network(STCN)을 구성한다.
• RGB 관계에서 학습된 하나의 마스크 무관한 키 친화도 행렬을 사용하여 프레임 간 친화도를 계산한다.
• 메모리 기여의 다양화를 위해 dot product 대신 음수 제곱 유클리드 거리(L2)를 유사도 척도로 사용한다.
• 친화도 행렬과의 행렬 곱을 통해 메모리 읽어내기를 집계하고 분할 마스크를 디코딩하기 위한 쿼리 특징을 생성한다.
• 메모리 관리은 조회된 프레임에서 메모리 키를 재사용하고, 마스크 생성 후 객체별로 메모리 값을 생성하는 방식으로 수행한다.
• 가벼운 디코더와 스킵 연결을 유지하여 고해상도 마스크를 생성하고 다중 객체 소프트 어그리게이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 객체별 메모리 뱅크 없이 VOS를 위한 효율적인 프레임 간 친화성을 어떻게 구성할 수 있는가?
• RQ2 Dot product를 L2 유사도와 교체하면 메모리 커버리지와 분할 성능이 향상되는가?
• RQ3 더 단순한 STCN 프레임워크가 최첨단 결과를 달성하면서 추론 속도를 더 높일 수 있는가?
• RQ4 STCN에서 메모리 관리 전략이 속도와 정확도에 미치는 영향은 무엇인가?

주요 결과

방법	G (YouTubeVOS)	J_S	F_S	J_U	F_U	J&F	J	F	FPS
저희	83.0	81.9	86.5	77.9	85.7	85.4	82.2	88.6	20.2
저희 + BL30K	84.3	83.2	87.9	79.0	87.3	85.3	82.0	88.6	20.2

• STCN은 DAVIS 2017 및 YouTubeVOS에서 최첨단 수준에 필적하거나 이를 상회하며 다중 객체에 대해 20+ FPS로 실행된다.
• L2 유사도 사용은 메모리 기여를 다양화하여 메모리 사용 불평등을 줄이고 견고성을 높인다.
• 공유 인코더를 사용하는 프레임 간 친화도는 값 인코더가 STM의 메모리 인코더보다 적게 호출되므로 추론 속도를 더 빠르게 한다.
• 마지막 프레임의 임시 메모리를 제거하고 프레임 전체 친화도에 의존하면 다양한 구성에서 STM의 약 12 FPS에서 STCN의 16–20 FPS 이상으로 속도가 개선된다.
• STCN에 선택적 BL30K 사전 학습을 추가하면 기준보다 YouTubeVOS 및 DAVIS 점수도 더 향상된다.