[논문 리뷰] Memory Aggregation Networks for Efficient Interactive Video Object Segmentation

Jiaxu Miao, Yunchao Wei외 1명|arXiv (Cornell University)|2020. 03. 30.

Visual Attention and Saliency Detection참고 문헌 30인용 수 10

한 줄 요약

이 논문은 사용자 상호작용과 시간적 전파를 하나의 네트워크에서 공유 특징 추출과 함께 통합하는 통합적이고 효율적인 프레임워크인 메모리 집합 네트워크(MA-Net)를 제안한다. 이는 이전 상호작용 라운드에서 유용한 단서를 유지하기 위해 메모리 집합 메커니즘을 활용하며, DAVIS 2018 검증 세트에서 J@60 점수 76.1%를 기록하여 추가 후처리나 광학 흐름 없이도 이전 방법보다 2.7% 이상 뛰어난 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Interactive video object segmentation (iVOS) aims at efficiently harvesting high-quality segmentation masks of the target object in a video with user interactions. Most previous state-of-the-arts tackle the iVOS with two independent networks for conducting user interaction and temporal propagation, respectively, leading to inefficiencies during the inference stage. In this work, we propose a unified framework, named Memory Aggregation Networks (MA-Net), to address the challenging iVOS in a more efficient way. Our MA-Net integrates the interaction and the propagation operations into a single network, which significantly promotes the efficiency of iVOS in the scheme of multi-round interactions. More importantly, we propose a simple yet effective memory aggregation mechanism to record the informative knowledge from the previous interaction rounds, improving the robustness in discovering challenging objects of interest greatly. We conduct extensive experiments on the validation set of DAVIS Challenge 2018 benchmark. In particular, our MA-Net achieves the J@60 score of 76.1% without any bells and whistles, outperforming the state-of-the-arts with more than 2.7%.

연구 동기 및 목표

• 인터랙티브 비디오 객체 분할에서 사용자 상호작용과 시간적 전파를 별도로 처리하는 기존 이중 네트워크 파이프라인의 비효율성을 해결하기 위해.
• 상호작용 라운드 간에 추출된 픽셀 임베딩을 재사용하여 라운드 기반 인터랙티브 분할의 추론 시간을 단축하기 위해.
• 여러 이전 상호작용 라운드에서 유용한 지식을 집합하여 도전적인 객체 분할의 정확도와 강건성을 향상시키기 위해.
• 광학 흐름이나 후처리에 의존하지 않도록, 다중 라운드 사용자 피드백을 캡처하는 메모리 메커니즘을 설계함으로써 이를 제거하기 위해.

제안 방법

• MA-Net은 픽셀 임베딩 추출을 위한 공유 백본을 갖춘 단일 네트워크로 상호작용과 전파를 통합하여, 첫 번째 라운드 이후 효율적인 추론을 가능하게 한다.
• 두 개의 얕은 컨볼루션 헤드를 사용한다: 하나는 애너테이션된(인터랙티브) 프레임에서 마스크를 예측하고, 다른 하나는 모든 다른 프레임으로 마스크를 전파한다.
• 전역 메모리는 각 라운드에서의 증강된 상호작용 맵을 저장하여 장기적인 사용자 피드백을 유지한다.
• 지역 메모리는 가장 가까운 R개의 이전 라운드에서 공간적으로 정렬된 특징 맵을 집합하여 외관 변화에 대한 강건성을 향상시킨다.
• 지역 메모리는 크기가 k인 슬라이딩 윈도우를 사용하여 매칭 맵을 계산하며, 정확도와 효율성의 최적 균형을 위해 k=12로 선택되었다.
• 메모리 집합 메커니즘은 전역 및 지역 맵을 조합하여 음영과 클래스 모호성과 같은 복잡한 시나리오에서의 분할 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 분리된 상호작용 및 전파 네트워크에 비해 통합 네트워크 아키텍처가 라운드 기반 인터랙티브 비디오 객체 분할에서 추론 효율성을 향상시킬 수 있는가?
• RQ2 다중 라운드 사용자 상호작용 피드백은 어떻게 효과적으로 집합하여 시간이 지남에 따라 분할 정확도를 향상시킬 수 있는가?
• RQ3 강건한 분할을 위해 메모리 메커니즘에서 최근 라운드와 먼 라운드를 어떻게 최적의 균형을 이루는가?
• RQ4 광학 흐름이나 CRF 후처리에 의존하지 않고도 경량 메모리 메커니즘이 최신 기술 수준의 방법을 능가할 수 있는가?
• RQ5 지역 윈도우 크기와 메모리 유지 윈도우(R)는 메모리 집합 메커니즘의 성능에 어떤 영향을 미치는가?

주요 결과

• MA-Net은 DAVIS 2018 검증 세트에서 어떤 추가 기능 없이도 J@60 점수 76.1%를 기록하여, 최신 기술 수준의 방법보다 2.7% 이상 뛰어나다.
• 모델은 60초 이내에 7회의 상호작용을 완료하며, 이는 이전 SOTA 방법이 동일한 시간 내에 5회의 상호작용만 수행한 것과 비교해 뛰어난 성능을 보인다.
• 제거 실험 결과, 전역 및 지역 메모리 구성 요소 모두 성능 향상에 기여하며, 지역 메모리는 R=2일 때 최고의 정확도를 달성한다.
• 전역 메모리에서 증강 맵을 제거하면 AUC 점수는 0.749에서 0.744로 감소하여, 사용자 피드백을 유지하는 데 있어 그 중요성이 입증된다.
• 최적의 지역 윈도우 크기는 정확도와 계산 효율성의 균형을 고려해 k=12로 결정되었으며, 이보다 크거나 작아지면 성능이 떨어진다.
• 정성적 결과는 MA-Net이 음영과 동일한 클래스의 다수 객체가 있는 복잡한 시나리오를 효과적으로 처리함을 확인했지만, 유사한 부분 간의 약간의 혼동이 발생할 수 있음을 보여준다.