[논문 리뷰] Hybrid Instance-aware Temporal Fusion for Online Video Instance Segmentation

Xiang Li, Jinglu Wang외 2명|arXiv (Cornell University)|2021. 12. 02.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 하이브리드 인스턴스 인식 시간 퓨전을 사용하여 박스 불필요, 검출 불필요, 매칭 불필요한 온라인 비디오 인스턴스 세분화 프레임워크를 제안한다. 프레임 간에 크로스 어텐션 메커니즘을 활용하여 글로벌 인스턴스 코드와 CNN 특징 맵을 통합함으로써, YouTube-VIS 2019에서 41.3 mAP, YouTube-VIS 2021에서 35.8 mAP를 기록하며 기존의 온라인 및 많은 오프라인 방법을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, transformer-based image segmentation methods have achieved notable success against previous solutions. While for video domains, how to effectively model temporal context with the attention of object instances across frames remains an open problem. In this paper, we propose an online video instance segmentation framework with a novel instance-aware temporal fusion method. We first leverages the representation, i.e., a latent code in the global context (instance code) and CNN feature maps to represent instance- and pixel-level features. Based on this representation, we introduce a cropping-free temporal fusion approach to model the temporal consistency between video frames. Specifically, we encode global instance-specific information in the instance code and build up inter-frame contextual fusion with hybrid attentions between the instance codes and CNN feature maps. Inter-frame consistency between the instance codes are further enforced with order constraints. By leveraging the learned hybrid temporal consistency, we are able to directly retrieve and maintain instance identities across frames, eliminating the complicated frame-wise instance matching in prior methods. Extensive experiments have been conducted on popular VIS datasets, i.e. Youtube-VIS-19/21. Our model achieves the best performance among all online VIS methods. Notably, our model also eclipses all offline methods when using the ResNet-50 backbone.

연구 동기 및 목표

• 박스, 검출 또는 프레임별 인스턴스 매칭에 의존하지 않고 온라인 비디오 인스턴스 세분화에서 시간적 일관성을 모델링하는 과제를 해결하기 위해.
• 통합된 어텐션 메커니즘을 통해 픽셀 수준과 인스턴스 수준의 표현을 융합하여 프레임 간 특징 통신을 향상시키기 위해.
• 학습된 인스턴스 코드를 통해 직접적으로 프레임 간 인스턴스 식별자를 연동함으로써 복잡한 매칭 모듈이 필요 없도록 하기 위해.
• 경량이고 종단 간 온라인 프레임워크를 통해 YouTube-VIS 2019 및 2021 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 픽셀 수준 및 인스턴스 수준의 특징을 함께 인코딩하기 위해 CNN 특징 맵과 글로벌 인스턴스 코드를 조합한 하이브리드 표현을 사용한다.
• 프레임 간 인스턴스 코드와 특징 맵 간 크로스 어텐션을 도입하여 픽셀 및 인스턴스 수준에서 시간적 일관성을 모델링한다.
• 학습 과정에서 프레임 간 인스턴스 코드에 일관성 제약 조건을 적용하여 순서와 식별자 유지 보장을 한다.
• 특징 자르기 없이 전역적 맥락을 유지하는 시간 퓨전 메커니즘을 설계하여 특징 자르기 없이 상호작용을 수행한다.
• 참고 프레임은 키 인코더로, 대상 프레임은 쿼리 디코더로 기능하는 이중 브랜치 트랜스포머 아키텍처를 활용하여 효율적인 시간 모델링을 수행한다.
• 인스턴스 코드의 슬롯 인덱스를 활용하여 프레임 간에 직접적으로 인스턴스 식별자를 연동함으로써 후처리 매칭 모듈이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 박스 없고, 검출 없이도 온라인 비디오 인스턴스 세분화에서 우수한 시간적 일관성을 달성할 수 있는가?
• RQ2 자르기 없이 픽셀 및 인스턴스 수준의 어텐션 융합이 프레임 간 특징 융합에 얼마나 효과적인가?
• RQ3 인스턴스 코드만으로도 프레임 간에 안정적인 식별자 연동을 유지할 수 있는가, 이는 매칭 모듈 의존도를 줄일 수 있는가?
• RQ4 인스턴스 코드 일관성 모델링이 장시간 비디오 시퀀스에서 세분화 정확도와 강건성에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 YouTube-VIS 2019에서 41.3 mAP를 달성하여, 동일한 ResNet-50 백본을 사용한 모든 이전 온라인 방법을 뛰어넘고, 많은 오프라인 방법조차도 능가한다.
• YouTube-VIS 2021에서는 35.8 mAP를 기록하여 기존의 모든 방법 중 최고 성능을 기록하며, 새로운 벤치마크에 대한 강력한 일반화 능력을 입증한다.
• 제거 실험 결과, 모든 프레임 간 어텐션 기능을 비활성화하면 mAP가 36.9로 감소함을 확인하여 어텐션 기반 시간 퓨전의 핵심적 역할을 입증한다.
• 참고 프레임 수가 1에서 4로 증가할수록 성능이 점진적으로 향상되며, 네 개의 참고 프레임을 사용할 경우 41.3 mAP에 도달함으로써 시간적 맥락에 강한 의존성을 보임을 시사한다.
• 두 개의 교대 트랜스포머 레이어만 사용할 경우 최고의 성능를 기록함으로써 얕은 시간 퓨전 네트워크가 충분하고 효과적임을 시사한다.
• 인스턴스 코드에 여분의 슬롯이 존재하더라도 성능이 안정적으로 유지됨을 확인하여, 제안된 방법이 여분의 슬롯에 대해 강건함을 입증한다.