[논문 리뷰] Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion

Ho Kei Cheng, Yu‐Wing Tai외 1명|arXiv (Cornell University)|2021. 03. 14.

Visual Attention and Saliency Detection참고 문헌 64인용 수 9

한 줄 요약

MiVOS는 상호작용에서 마스크 생성과 시간적 마스크 전파를 분리하는 모듈형, 분리형 프레임워크를 제안하며, 사용자 의도를 유지하기 위해 새로운 차이 감지 퓨전 모듈을 사용한다. 이는 공간-시간 메모리에서 top-k 필터링을 활용하여 DAVIS에서 더 적은 상호작용으로 최신 기술 수준의 성능을 달성하며, 클릭과 스크래치와 같은 다양한 상호작용 유형으로 일반화된다.

ABSTRACT

We present Modular interactive VOS (MiVOS) framework which decouples interaction-to-mask and mask propagation, allowing for higher generalizability and better performance. Trained separately, the interaction module converts user interactions to an object mask, which is then temporally propagated by our propagation module using a novel top-$k$ filtering strategy in reading the space-time memory. To effectively take the user's intent into account, a novel difference-aware module is proposed to learn how to properly fuse the masks before and after each interaction, which are aligned with the target frames by employing the space-time memory. We evaluate our method both qualitatively and quantitatively with different forms of user interactions (e.g., scribbles, clicks) on DAVIS to show that our method outperforms current state-of-the-art algorithms while requiring fewer frame interactions, with the additional advantage in generalizing to different types of user interactions. We contribute a large-scale synthetic VOS dataset with pixel-accurate segmentation of 4.8M frames to accompany our source codes to facilitate future research.

연구 동기 및 목표

• 상호작용 유형과 모델 성능가 높은 상관관계를 가지는 공동 학습의 한계를 해결하기 위해 상호작용-마스크 생성과 시간적 마스크 전파를 분리함으로써 상호작용 영향을 줄이기 위함.
• 상호작용-마스크 생성과 마스크 전파를 분리함으로써 다양한 사용자 상호작용을 지원할 수 있도록 일반화 능력을 향상시키기 위함.
• 원시 상호작용 신호에 의존하는 대신, 각 상호작용 전후의 마스크 차이를 모델링하여 전파 과정에서 사용자 의도를 유지하기 위함.
• 효율적인 희소 상호작용과 강력한 전파를 통해 상호작용 비용을 줄이고 정확도를 유지하거나 향상시키기 위함.
• 480만 개의 픽셀 정밀 마스크 프레임을 포함한 대규모 합성 VOS 데이터셋을 공개하여 향후 연구를 촉진하기 위함.

제안 방법

• iVOS를 상호작용-마스크 생성, 전파, 차이 감지 퓨전의 세 가지 별도 모듈로 분리하여 모듈형 학습 및 추론을 가능하게 함.
• 마스크 전파 중 효율성과 정확도를 향상시키기 위해 어텐션 기반 메모리 읽기 연산에서 경량 top-k 필터링 전략을 도입함.
• 각 사용자 상호작용 전후의 마스크 차이를 모델링하여 이들의 융합을 학습하는 차이 감지 퓨전 모듈을 도입함으로써 사용자 의도를 유지함.
• STM를 영감으로 삼아 공간-시간 메모리 네트워크를 사용하여 프레임 간 특징을 저장하고 검색함으로써 이중 방향 마스크 전파를 가능하게 함.
• 공간-시간 메모리를 사용해 목표 프레임에서 상호작용 전후 마스크를 정렬함으로써 정확한 융합과 수정 전파를 보장함.
• 다양한 입력 유형(예: 스크래치, 클릭 등)을 처리할 수 있도록 상호작용 모듈을 별도로 학습시켜 모듈성과 일반화 능력을 향상시킴.

실험 결과

연구 질문

• RQ1 분리된 아키텍처가 공동 학습 방법에 비해 정확도와 일반화 능력에서 뛰어나게 성능을 냈는가?
• RQ2 상호작용과 전파 과정이 분리된 상황에서 시간적 마스크 전파 과정에서 사용자 의도를 효과적으로 유지할 수 있는가?
• RQ3 원시 상호작용 신호보다 마스크 차이(상호작용 전후)를 모델링하는 것이 분할 성능에 어떤 영향을 미치는가?
• RQ4 모듈형 프레임워크가 높은 정확도를 유지하면서 사용자 상호작용 횟수를 얼마나 줄일 수 있는가?
• RQ5 기존 방법과 비교해 본다면, 제안된 방법은 클릭, 스크래치, 자유형 드로잉 등 다양한 상호작용 유형에 대해 얼마나 잘 일반화되는가?

주요 결과

• MiVOS는 DAVIS 2017 상호작용 검증 세트에서 평균 JIoU 88.5를 기록하여, 동일 평가 프로토콜 하에서 SOTA 기법인 ATNet(84.8)을 초월함.
• 제거 실험 결과, 차이 감지 퓨전 모듈이 베이스라인 대비 JIoU@60s에서 1.9점의 절대적 향상을 기록함으로써 성능 향상에 핵심적인 역할을 함.
• 단지 세 프레임의 상호작용만으로도 MiVOS는 최종 평균 IoU 87.9를 달성하며, 유사 정확도에 도달하기 위해 더 많은 상호작용이 필요한 ATNet에 비해 뚜렷한 우월성을 보임.
• 사용자 연구 결과, MiVOS(Ours-Free)는 ATNet보다 더 높은 최종 정확도(87.9)와 AUC(0.87)를 기록했으며, 상호작용 시간도 줄여줌.
• 제안된 방법은 미리 보지 않은 인터넷 영상에 대해서도 잘 일반화되며, 다양한 실제 영상 콘텐츠에서 강력한 분할 성능을 보임.
• 480만 프레임의 합성 데이터셋은 향후 상호작용 VOS 분야의 사전학습 향상과 연구 촉진에 기여함.