[논문 리뷰] XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model

Ho Kei Cheng, Alexander G. Schwing|arXiv (Cornell University)|2022. 07. 14.

Visual Attention and Saliency Detection인용 수 15

한 줄 요약

XMem는 장기 영상 객체 분할을 위한 다중 저장소 메모리 아키텍처를 제안하며, Atkinson-Shiffrin 기억 모델에 영향을 받아 감각, 작업, 장기 기억 저장소를 통합하고 메모리 강화 및 통합 메커니즘을 갖춘다. 이는 장기 영상 벤치마크에서 최고 성능을 달성하면서도 짧은 영상에서도 높은 정확도를 유지하며, 최소한의 GPU 메모리 사용과 실시간 추론 능력을 확보한다.

ABSTRACT

We present XMem, a video object segmentation architecture for long videos with unified feature memory stores inspired by the Atkinson-Shiffrin memory model. Prior work on video object segmentation typically only uses one type of feature memory. For videos longer than a minute, a single feature memory model tightly links memory consumption and accuracy. In contrast, following the Atkinson-Shiffrin model, we develop an architecture that incorporates multiple independent yet deeply-connected feature memory stores: a rapidly updated sensory memory, a high-resolution working memory, and a compact thus sustained long-term memory. Crucially, we develop a memory potentiation algorithm that routinely consolidates actively used working memory elements into the long-term memory, which avoids memory explosion and minimizes performance decay for long-term prediction. Combined with a new memory reading mechanism, XMem greatly exceeds state-of-the-art performance on long-video datasets while being on par with state-of-the-art methods (that do not work on long videos) on short-video datasets. Code is available at https://hkchengrex.github.io/XMem

연구 동기 및 목표

• 단일 특징 메모리 저장소에 의존하는 기존 영상 객체 분할 방법의 확장성 한계를 해결하기 위해, 이는 장기 영상에서 높은 GPU 메모리 사용과 성능 저하를 초래한다.
• 짧은 영상에서의 성능을 희생시키지 않고, 표준 벤치마크보다 3배 긴 영상(예: 3× 긴 영상)에서도 정확도가 높고 실시간이며 메모리 효율적인 영상 객체 분할을 가능하게 하기 위해.
• 감각, 작업, 장기 기억을 모방하는 생물학적으로 유사한 메모리 아키텍처를 개발하여, 서로 다른 연결된 특징 메모리 저장소를 통해 인간 기억 과정을 재현하기 위해.
• 메모리 강화 및 통합 알고리즘을 설계하여 압축되고 고정밀도의 장기 메모리 저장을 가능하게 하며, 메모리 폭발과 표현 드리프트를 방지하기 위해.

제안 방법

• XMem는 세 가지 서로 다른 특징 메모리 저장소를 사용한다: 신속하게 업데이트되는 감각 기억(그리드 리커런트 유닛 기반), 역동적 프레임을 집계하는 고해상도 작업 기억, 지속 저장을 위한 압축된 장기 기억.
• 메모리 강화 알고리즘은 작업 기억에서 선택된 프로토타입을 더 풍부하고 다중 척도의 특징으로 집계하여 장기 기억에 저장하기 전에 강화함으로써, 하향 샘플링으로 인한 앨리어싱을 감소시킨다.
• 사용 통계 기반으로 활성 작업 기억 요소를 정기적으로 장기 기억으로 이관하는 메모리 통합 메커니즘이 장기 유지 보장을 위해 설계되어 과도한 메모리 증가를 방지한다.
• 공간-시간 메모리 읽기 메커니즘은 쿼리 프레임과 작업 기억 및 장기 기억 저장소 간의 주의 기반 특징 매칭을 가능하게 하며, 선택 및 수축 항목을 포함한 이방향 L2 유사도를 사용한다.
• 감각 기억은 매 r-번째 프레임마다 깊이 업데이트되어 시간적 일관성을 유지하고 드리프트를 감소시키며, 계산 오버헤드가 최소한이다.
• 모델은 특징 인코더와 마스크 헤드를 갖춘 이중 브랜치 네트워크를 사용하며, 메모리 저장소는 온라인 스트리밍 방식으로 업데이트되고 읽힌다.

실험 결과

연구 질문

• RQ1 인간 인지에 영감을 받은 다중 저장소 메모리 아키텍처는 저메모리 소비를 유지하면서도 장기 영상 객체 분할 정확도를 향상시킬 수 있는가?
• RQ2 감각, 작업, 장기 기억 저장소의 통합은 단일 메모리 베이시스라인 대비 장기 영상에서 성능에 어떤 영향을 미치는가?
• RQ3 메모리 강화 및 통합은 장기 메모리의 정밀도를 향상시키고 장기 영상 시퀀스에서의 성능 저하를 어느 정도 감소시키는가?
• RQ4 통합된 메모리 아키텍처는 추론 속도나 메모리 효율성에 손상 없이 짧고 긴 영상 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• XMem는 Long-time Video (3×) 데이터셋에서 J&F 점수 90.0 ± 0.4를 기록하여, 장기 영상에서 어려움을 겪는 이전 최고 성능 방법들을 크게 앞서며 뚜렷한 우월성을 보였다.
• 표준 DAVIS 2017 벤치마크에서 XMem는 J&F 점수 89.8 ± 0.2를 기록하여, 장기 영상으로 확장되지 않는 최고 성능 방법들과 동일한 성능을 달성했다.
• 사용 기반 프로토타입 선택과 특징 풍부화를 통한 메모리 강화 알고리즘은 장기 메모리 품질을 향상시켜, 비강화 기반 베이시스라인 대비 성능을 2.1% 향상시켰다.
• 사용 기반 선택과 P=128 프로토타입을 사용한 메모리 통합은 성능과 메모리 압축 사이의 최적 균형을 이루었으며, 무작위, k-means, 국소 윈도우 전략보다 뛰어난 성능을 보였다.
• 이방향 L2 유사도와 이중 스케일링 항목(선택 및 수축)을 갖춘 공간-시간 메모리 읽기 메커니즘은 주의 정확도와 강건성을 향상시켰으며, 제거 실험을 통해 두 구성 요소 간의 상호보완적 작용이 확인되었다.
• 매 r-번째 프레임마다 깊이 업데이트를 적용함으로써 성능이 0.5–1.0 J&F 포인트 향상되었고, 속도에 거의 영향을 주지 않아 감각 기억 품질 유지의 효과성을 확인했다.