[논문 리뷰] CompFeat: Comprehensive Feature Aggregation for Video Instance Segmentation

Yang Fu, Linjie Yang외 3명|arXiv (Cornell University)|2020. 12. 07.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 14

한 줄 요약

이 논문은 영상 인스턴스 세분화를 위한 종합적인 특징 집합 프레임워크인 CompFeat를 제안하며, 프레임 수준 및 개체 수준에서 이중 주의 메커니즘을 통해 시간적 및 공간적 맥락을 통합함으로써 특징 표현을 향상시킨다. 또한 교차상관관계 맵을 사용하는 상관관계 기반 추적 모듈을 도입하여 인스턴스 매칭을 향상시키며, YouTube-VIS에서 28.4%의 AP 점수로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Video instance segmentation is a complex task in which we need to detect, segment, and track each object for any given video. Previous approaches only utilize single-frame features for the detection, segmentation, and tracking of objects and they suffer in the video scenario due to several distinct challenges such as motion blur and drastic appearance change. To eliminate ambiguities introduced by only using single-frame features, we propose a novel comprehensive feature aggregation approach (CompFeat) to refine features at both frame-level and object-level with temporal and spatial context information. The aggregation process is carefully designed with a new attention mechanism which significantly increases the discriminative power of the learned features. We further improve the tracking capability of our model through a siamese design by incorporating both feature similarities and spatial similarities. Experiments conducted on the YouTube-VIS dataset validate the effectiveness of proposed CompFeat. Our code will be available at https://github.com/SHI-Labs/CompFeat-for-Video-Instance-Segmentation.

연구 동기 및 목표

• 운동 왜곡과 외관 변화 상황에서 단일 프레임 특징 사용의 한계를 해결하기 위해.
• 시간적 및 공간적 맥락을 프레임 수준 및 개체 수준에서 집계하여 특징의 구별 능력을 향상시키기 위해.
• 새로운 상관관계 기반 추적 모듈을 통해 공간적 레이아웃과 특징 유사도를 통합하여 추적의 강건성을 향상시키기 위해.
• YouTube-VIS 벤치마크에서 각 구성 요소의 기여도를 체계적으로 평가하기 위해 분석 연구를 수행하기 위해.

제안 방법

• 시간적 주의를 프레임 간에 적용하고 프레임 내에서 공간적 주의를 적용하여 맥락 정보를 활용해 특징을 개선하는 이중 주의 모듈을 제안한다.
• 다른 인스턴스의 특징을 고려하여 이중 주의 메커니즘을 개체 수준으로 확장함으로써 상호 인스턴스 간의 구별 능력을 향상시킨다.
• 기준 개체와 현재 프레임 간의 교차상관관계 맵을 계산하여 공간 인식 매칭을 가능하게 하는 상관관계 기반 추적 모듈을 도입한다.
• 개체 쌍 간의 깊이 기반 상관관계를 사용해 매칭 점수를 생성함으로써 단순한 특징 유사도를 넘어서 추적 정확도를 향상시킨다.
• 특징과 공간 유사도를 모두 활용하여 강건한 추적을 구현하기 위해 시아미즈 유사 설계를 채택한다.
• 프레임 수준 및 개체 수준의 주의 모듈과 상관관계 기반 추적 모듈을 통합하여 종단 간(end-to-end) 학습 가능한 통합 프레임워크를 구성한다.

실험 결과

연구 질문

• RQ1 시간적 및 공간적 맥락을 모두 활용한 종합적 특징 집합이 단일 프레임 기반 기준보다 영상 인스턴스 세분화 성능을 향상시킬 수 있는가?
• RQ2 프레임 수준 및 개체 수준의 주의 메커니즘이 특징 개선 및 인스턴스 간 구별에 어떤 기여를 하는가?
• RQ3 공간 인식 교차상관관계 맵을 사용하는 상관관계 기반 추적 모듈이 기존의 유사도 기반 방법에 비해 인스턴스 추적 성능을 얼마나 향상시키는가?
• RQ4 주의 모듈과 상관관계 추적기의 개별 및 통합 기여도는 전체 성능 향상에 얼마나 기여하는가?
• RQ5 학습 샘플링 전략이 시간적 및 공간적 대응 관계를 학습하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 CompFeat 프레임워크는 YouTube-VIS 검증 세트에서 28.4%의 AP를 달성하여 기준 모델인 Mask-Track-RCNN보다 AP에서 4.3% 향상되고, AP0.5에서 4.8% 향상되었다.
• 프레임 수준의 이중 주의 모듈을 통합함으로써 성능이 25.8%에서 26.3%로 향상되어 시간적 및 공간적 맥락 집합의 이점이 입증되었다.
• 개체 수준의 이중 주의 모듈은 AP, AP0.5, AP0.75에서 각각 3.4%, 3.5%, 4.0% 향상되어 특징의 구별 능력 향상이 뚜렷하게 나타났다.
• 상관관계 기반 추적 모듈만으로도 기준 모델 대비 AP가 1% 이상 향상되었으며, 프레임 수준 주의와 함께 통합했을 때 최고의 성능를 기록했다.
• 학습 시 랜덤 샘플링이 균일 샘플링보다 더 우수한 일반화 성능을 보였으며, 시간적 변동에 대한 모델의 강건성을 높였다.
• 정성적 결과에서는 CompFeat가 유사한 다수의 객체를 정확히 추적하고, 중간 정도의 가림을 처리하며, 극적인 외관 변화 상황에서도 정체성 일관성을 유지하는 것으로 확인되었다.