[논문 리뷰] Dual Prototype Attention for Unsupervised Video Object Segmentation

Suhwan Cho, Minhyeok Lee외 5명|arXiv (Cornell University)|2022. 11. 22.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 이중 프로토타입 어텐션(DPA)을 제안하며, 외형 및 운동 특징의 적응형 융합을 위한 상호 모odal 어텐션(ima)과 프로토타입 기반 메모리 백에 기반한 프로토타입 기반 메모리 백을 통한 전역 영상 컨텍스트 전파를 위한 상호 프레임 어텐션(ifa)을 도입하는 비지도 영상 객체 분할 프레임워크이다. 이 방법은 DAVIS 2016, FBMS 및 YouTube-Objects 벤치마크에서 뛰어난 정확도와 효율성으로 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법들보다 유의미한 성능 향상을 보이며 낮은 계산 비용을 유지한다.

ABSTRACT

Unsupervised video object segmentation (VOS) aims to detect and segment the most salient object in videos. The primary techniques used in unsupervised VOS are 1) the collaboration of appearance and motion information; and 2) temporal fusion between different frames. This paper proposes two novel prototype-based attention mechanisms, inter-modality attention (IMA) and inter-frame attention (IFA), to incorporate these techniques via dense propagation across different modalities and frames. IMA densely integrates context information from different modalities based on a mutual refinement. IFA injects global context of a video to the query frame, enabling a full utilization of useful properties from multiple frames. Experimental results on public benchmark datasets demonstrate that our proposed approach outperforms all existing methods by a substantial margin. The proposed two components are also thoroughly validated via ablative study.

연구 동기 및 목표

• 기존 비지도 영상 객체 분할 방법의 다중 모달리티 융합 및 시간적 집계에 대한 한계를 해결하기 위해.
• 모달리티 간의 조밀한 상호 보완을 통해 외형 또는 운동 신호의 신뢰성 저하에 대응하는 강건성을 향상시키기 위해.
• 반복적 개선이나 첫 번째 프레임에 의존하지 않고도 높은 계산 비용 없이 전역 영상 컨텍스트를 효율적으로 활용하기 위해.
• 공간 지식을 반영한 구조적 프로토타입 표현으로 픽셀 수준의 특징을 변환함으로써 특징 표현을 향상시키기 위해.
• 기본 비지도 VOS 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 추론 효율성을 유지하기 위해.

제안 방법

• 외형 및 운동 브랜치 간의 상호 특징 보완을 위해 적응형 어텐션 기반 특징 전파를 사용하는 상호 모달리티 어텐션(ima)을 도입한다.
• 샘플된 프레임의 특징을 외부 메모리 백에 저장하고 각 쿼리 프레임에 대해 전역 컨텍스트를 적응적으로 검색하는 상호 프레임 어텐션(ifa)을 활용한다.
• 픽셀 수준의 특징을 프로토타입 수준의 표현으로 변환함으로써 공간적 구조 인식 능력과 강건성을 향상시키는 프로토타입 기반 프레임워크를 사용한다.
• RGB 이미지와 옵티컬 플로우 맵을 병렬로 처리하는 이중 스트림 인코더-디코더 아키텍처를 채택하며, IMA 및 IFA 모듈을 핵심 단계에 통합한다.
• 여러 프레임의 특징을 저장하고 검색하는 메모리 백 메커니즘을 활용하여 반복적 개선 없이도 전체 영상 컨텍스트를 활용한다.
• 교차 모달리티 및 교차 프레임 관련성에 기반해 특징 중요도를 동적으로 할당하는 적응형 어텐션 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 이중 어텐션 메커니즘이 외형 및 운동 특징 간의 조밀한 상호 보완을 통해 비지도 영상 객체 분할에서 다중 모달리티 융합을 향상시킬 수 있는가?
• RQ2 반복적 개선이나 첫 번째 프레임에 의존하지 않고도 상호 프레임 어텐션으로 전역 영상 컨텍스트를 각 쿼리 프레임에 효과적으로 통합할 수 있는가, 이는 시간적 일관성을 향상시키는가?
• RQ3 프로토타입 기반 표현 학습 프레임워크를 통합함으로써 비지도 VOS에서 특징 품질과 강건성을 향상시킬 수 있는가?
• RQ4 제안된 방법은 낮은 계산 복잡도를 유지하면서도 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제거 실험에서 IMA, IFA, 프로토타입 프레임워크 등의 개별 구성 요소가 전체 성능 향상에 기여하는 방식은 어떠한가?

주요 결과

• DAVIS 2016 검증 세트에서 DPA는 512×512 해상도에서 평균 JIoU 점수 87.6%를 기록하여 이전 SOTA 방법인 HFAN을 0.3% 초월한다.
• FBMS 테스트 세트에서 DPA는 다음으로 우수한 방법보다 1.1% 높은 JIoU 점수를 기록하여 다중 객체 시나리오에서 강력한 강건성을 입증한다.
• 도전적인 YouTube-Objects 데이터셋에서 DPA는 10개 클래스 중 4개에서 1위를 기록하고 평균 JIoU 87.4%를 달성하여 모든 이전 방법을 능가한다.
• 제거 실험 결과 IMA 및 IFA 모두 성능 향상에 기여하며, 프로토타입 프레임워크는 특징 품질과 일반화 능력을 추가로 향상시킨다.
• 모델은 높은 추론 효율성을 유지하며, 단일 RTX 3090 GPU에서 352×352 해상도에서 영상당 25.4초의 런타임을 기록하여 계산 비용이 높은 방법들보다 뛰어난 성능을 보인다.
• 정성적 결과에서는 DPA가 급속한 운동과 가림현상 상황에서도 안정적인 추적을 유지하는 반면, 다른 방법들은 배경 간섭으로 인해 실패하는 것으로 나타났다.