[논문 리뷰] SG-Net: Spatial Granularity Network for One-Stage Video Instance Segmentation

Dongfang Liu, Yiming Cui외 2명|arXiv (Cornell University)|2021. 03. 18.

Advanced Neural Network Applications참고 문헌 46인용 수 13

한 줄 요약

SG-Net는 탐지, 세분화, 추적을 동시에 최적화하는 제안 없음, 엔드 투 엔드 아키텍처를 사용하여 동적으로 분할된 하위 영역을 통한 공간 해상도 세분화를 통해 마스크 품질과 추론 효율성을 향상시키는 일단계 영상 인스턴스 세분화 프레임워크를 제안한다. 이는 YouTube-VIS에서 이중단계 방법 대비 더 높은 정확도와 속도를 달성하여 최신 기술 수준을 확보한다.

ABSTRACT

Video instance segmentation (VIS) is a new and critical task in computer vision. To date, top-performing VIS methods extend the two-stage Mask R-CNN by adding a tracking branch, leaving plenty of room for improvement. In contrast, we approach the VIS task from a new perspective and propose a one-stage spatial granularity network (SG-Net). Compared to the conventional two-stage methods, SG-Net demonstrates four advantages: 1) Our method has a one-stage compact architecture and each task head (detection, segmentation, and tracking) is crafted interdependently so they can effectively share features and enjoy the joint optimization; 2) Our mask prediction is dynamically performed on the sub-regions of each detected instance, leading to high-quality masks of fine granularity; 3) Each of our task predictions avoids using expensive proposal-based RoI features, resulting in much reduced runtime complexity per instance; 4) Our tracking head models objects centerness movements for tracking, which effectively enhances the tracking robustness to different object appearances. In evaluation, we present state-of-the-art comparisons on the YouTube-VIS dataset. Extensive experiments demonstrate that our compact one-stage method can achieve improved performance in both accuracy and inference speed. We hope our SG-Net could serve as a strong and flexible baseline for the VIS task. Our code will be available.

연구 동기 및 목표

• 이중단계 영상 인스턴스 세분화 방법의 한계, 즉 불필요한 제안 생성과 저해상도 마스크 특징을 해결하기 위해.
• 균일한 RoI 기반 예측 대신 유연한 동적 하위 영역 세분화를 통해 마스크 품질을 향상시키기 위해.
• 제안 기반 RoI 연산을 제거하고 예측 수에 대한 런타임 의존도를 줄여 추론 효율성을 높이기 위해.
• 탐지 헤드와 자연스럽게 통합된 중심도 기반 운동 모델링을 통해 추적의 강건성을 강화하기 위해.

제안 방법

• SG-Net는 제안망이 없는 일단계, 완전 컨볼루션 기반의 백본(FCOS를 영감으로 삼음)을 사용하여 제안망 없이 탐지, 세분화, 추적 헤드를 동시에 최적화한다.
• 공간 해상도 세분화 기반으로 각 탐지된 바운딩 박스를 하위 영역(최대 6×6 격자)으로 동적으로 분할하여 각 하위 영역에 대해 고해상도 마스크 예측을 가능하게 한다.
• 마스크 헤드는 입력 해상도의 1/2로 업샘플링된 특징 맵(Factor=4)을 사용하여 각 하위 영역에서 인스턴스 인식 기반 동적 예측을 수행하며 경계 세부 정보를 유지한다.
• 새로운 추적 헤드는 탐지에서 유도된 객체 중심도를 활용하여 시간적 운동을 모델링하여 외관 변화나 객체 겹침과 같은 상황에서도 강건성을 향상시킨다.
• 탐지, 세분화, 추적 헤드 간의 인스턴스 인식 기반 연결을 통해 특징 공유를 강화하고 엔드 투 엔드 동시 최적화를 가능하게 한다.
• 기본 마스크는 FPN 특징(P3–P5)에서 생성되며, 분석 결과 P3–P5 조합이 정확도-속도 트레이드오프에서 최적임을 확인했다.

실험 결과

연구 질문

• RQ1 일단계, 제안 없음 아키텍처가 영상 인스턴스 세분화에서 이중단계 방법 대비 더 높은 정확도와 속도를 달성할 수 있는가?
• RQ2 동적 하위 영역 세분화가 균일한 RoI 기반 또는 고정 격자 방법에 비해 마스크 품질을 어떻게 향상시키는가?
• RQ3 중심도 기반 추적은 객체 겹침이나 외관 변화와 같은 어려운 상황에서 얼마나 강건성을 향상시키는가?
• RQ4 공간 해상도 세분화에서 하위 영역 분할 수와 추론 효율성 간의 최적 트레이드오프는 무엇인가?
• RQ5 기본 마스크 생성의 성능에 영향을 주는 특징 해상도와 위치는 어떻게 되는가?

주요 결과

• SG-Net는 YouTube-VIS 2019에서 36.3% AP를 달성하여 MaskTrack R-CNN 및 기타 이중단계 기반 베이스라인을 능가하며 추론 속도도 빠르다.
• 하위 영역 분할 수를 2×에서 6×로 증가시킬 경우 AP는 34.0%에서 36.3%로 상승하지만, 8×로 더 증가시키면 속도 손실이 크기 때문에 이득은 미미하게(36.4%)에 그친다.
• 기본 마스크 특징을 입력 해상도의 1/2(요소=4)로 업샘플링하면 AP가 1.4% 향상(34.9%에서 36.3%)되고, AP@0.75는 1.5% 향상(38.1%에서 39.6%)된다.
• 기본 마스크 생성에 더 깊은 FPN 특징(P3–P5)을 사용할 경우 AP는 36.3%로 상승하고 AP@0.75는 39.6%로 상승한다. 반면 P3만을 사용할 경우 각각 35.0%와 37.0%로 낮아진다.
• SG-Net의 추론 시간은 예측 수가 늘어나도 거의 증가하지 않으며, 이는 이중단계 방법과 달리 제안 수에 비례해 런타임이 증가하지 않기 때문이다.
• COCO 이미지 벤치마크에서 SipMask 및 CondInst와 동일한 백본 설정 조건 하에서 SG-Net은 각각 1.3–1.8%와 0.8–1.3%의 여유를 확보하며 더 높은 정확도를 달성한다.