[논문 리뷰] Putting the Object Back into Video Object Segmentation

Ho Kei Cheng, Seoung Wug Oh외 3명|arXiv (Cornell University)|2023. 10. 19.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

Cutie는 오염 및 혼란 요소가 있는 과도한 시나리오에서 강건성을 향상시키기 위해 쿼리 기반 객체 트랜스포머를 통해 객체 수준의 메모리 읽기를 사용하는 비디오 객체 세분화(VOS) 네트워크를 제안한다. 고수준의 객체 쿼리와 고해상도 픽셀 특징, 그리고 배경 마스크가 적용된 어텐션을 조합함으로써 Cutie는 MOSE 데이터셋에서 XMem보다 8.7 J&F, DeAOT보다 4.2 J&F 향상시켰으며, DeAOT보다 3배 빠른 속도로 작동한다.

ABSTRACT

We present Cutie, a video object segmentation (VOS) network with object-level memory reading, which puts the object representation from memory back into the video object segmentation result. Recent works on VOS employ bottom-up pixel-level memory reading which struggles due to matching noise, especially in the presence of distractors, resulting in lower performance in more challenging data. In contrast, Cutie performs top-down object-level memory reading by adapting a small set of object queries. Via those, it interacts with the bottom-up pixel features iteratively with a query-based object transformer (qt, hence Cutie). The object queries act as a high-level summary of the target object, while high-resolution feature maps are retained for accurate segmentation. Together with foreground-background masked attention, Cutie cleanly separates the semantics of the foreground object from the background. On the challenging MOSE dataset, Cutie improves by 8.7 J&F over XMem with a similar running time and improves by 4.2 J&F over DeAOT while being three times faster. Code is available at: https://hkchengrex.github.io/Cutie

연구 동기 및 목표

• 픽셀 수준의 메모리 읽기의 한계를 해결하기 위해, 혼란 요소와 가림 현상 하에서 노이즈 매칭과 일반화 능력 저하 문제를 해결하고자 한다.
• 목표 객체를 학습 가능한 쿼리로 모델링하여 고수준의 객체 추론을 비디오 객체 세분화에 통합하고자 한다.
• 작은 객체 메모리와 마스크된 어텐션을 활용하여 장기 추적의 강건성과 전경 및 배경 간의 의미적 분리 능력을 향상시키고자 한다.
• MOSE와 같은 도전적인 벤치마크에서 최신 기술을 크게 능가하면서도 높은 추론 효율성을 유지하고자 한다.

제안 방법

• Cutie는 소량의 학습 가능한 객체 쿼리를 사용하여 피클 수준의 메모리 읽기 결과를 반복적으로 개선하는 쿼리 기반 객체 트랜스포머(qt)를 활용한다. 이는 상향식 가이던스를 제공한다.
• 모델은 이중 메모리 메커니즘을 사용한다: 저수준 특징 검색을 위한 피클 메모리와 장기적 표현을 위한 목표 특징을 요약하는 컴act 객체 메모리.
• 전경-배경 마스크가 적용된 어텐션을 도입하여 전경과 배경에 대해 별도의 어텐션 플로우를 허용함으로써 깔끔한 의미적 분리와 풍부한 특징 상호작용을 가능하게 한다.
• 객체 쿼리는 피클 수준의 읽기 결과와의 크로스 어텐션을 통해 업데이트되며, 이는 고수준의 객체 개념과 저수준의 공간적 세부 정보 간의 双방향 통신을 가능하게 한다.
• 디코더는 128채널의 축소된 채널 아키텍처를 사용하며, 스킵 연결과 업샘플링 블록을 통해 고해상도 세그먼테이션 마스크를 효율적으로 재구성한다.
• 네트워크는 XMem과 DeAOT와 유사하게 불확실 영역에 초점을 맞춘 교차 엔트로피 손실을 통해 엔드 투 엔드로 훈련되며, 객체 쿼리 개선 과정으로 인해 향상된다.

Figure 1 : Comparison of pixel-level memory reading v.s. object-level memory reading. In each box, the left is the reference frame, and the right is the query frame to be segmented. Red arrows indicate wrong matches. Low-level pixel matching (e.g., XMem [ 9 ] ) can be noisy in the presence of distra

실험 결과

연구 질문

• RQ1 오염 및 혼란 요소가 많은 조건에서 객체 수준의 추론이 비디오 객체 세분화의 강건성 향상에 기여할 수 있는가?
• RQ2 전통적인 픽셀 수준의 매칭과 비교해 객체 수준의 메모리 읽기가 세그먼테이션 정확도와 노이즈 내성 측면에서 어떻게 성능을 높이는가?
• RQ3 작은 객체 메모리는 추론 속도를 저하시키지 않고도 장기적인 목표 표현을 효과적으로 유지할 수 있는가?
• RQ4 전경-배경 마스크가 적용된 어텐션은 복잡한 장면에서 의미적 분리 능력을 향상시키고 배경 혼동을 줄이는 데 기여하는가?

주요 결과

• Cutie는 과도한 도전적인 MOSE 데이터셋에서 XMem보다 +8.7 J&F 향상시켜 혼란 요소와 가림 현상에 대한 강건성 향상을 뚜렷이 입증한다.
• Cutie는 MOSE에서 DeAOT보다 4.2 J&F 향상되었으며, DeAOT보다 3배 빠른 속도로 작동함으로써 효율성-정확도 트레이드오프에서 뛰어난 성능을 보인다.
• DAVIS-2017 및 YouTubeVOS와 같은 표준 벤치마크에서도 경쟁력 있는 성능을 유지하여 다양한 데이터셋에 대한 일반화 능력을 확인한다.
• 객체 쿼리와 마스크된 어텐션의 사용은 더 깔끔한 전경-배경 분리 결과를 이끌어내어 혼잡한 장면에서의 오진 양성률 감소에 기여한다.
• 디코더 채널 수를 256에서 128로 감소시켜도 성능 저하가 발생하지 않아, 객체 트랜스포머로 인한 향상된 특징 품질이 감소한 용량을 상쇄함을 확인한다.
• 작은 객체 메모리는 재학습 없이도 안정적인 장기 추적을 가능하게 하며, 추가 비용 없이도 여러 객체에 재사용 가능하다.

Figure 2 : Overview of Cutie. We store pixel memory $F$ and object memory $S$ representations from past segmented (memory) frames. Pixel memory is retrieved for the query frame as pixel readout $R_{0}$ , which bidirectionally interacts with object queries $X$ and object memory $S$ in the object tran