[논문 리뷰] Occluded Video Instance Segmentation

Jiyang Qi|arXiv (Cornell University)|2024. 01. 01.

Multimodal Machine Learning Applications참고 문헌 32인용 수 26

한 줄 요약

이 논문은 25개 카테고리에 걸쳐 296만 개의 마스크를 포함하는 대규모 오clusion 비디오 인스턴스 세분화 데이터셋인 OVIS를 소개하고, 오clusion된 인스턴스에서 성능을 향상시키기 위한 시간적 특징 캘리브레이션 모듈을 제안한다. MaskTrack R-CNN 및 SipMask 기반으로 개발된 이 방법은 OVIS에서 15.1 AP, YouTube-VIS에서 35.1 AP를 기록하여 이전 최고 성능 기준을 크게 뛰어넘는 성과를 달성한다.

ABSTRACT

Can our video understanding systems perceive objects when a heavy occlusion exists in a scene? To answer this question, we collect a large-scale dataset called OVIS for occluded video instance segmentation, that is, to simultaneously detect, segment, and track instances in occluded scenes. OVIS consists of 296k high-quality instance masks from 25 semantic categories, where object occlusions usually occur. While our human vision systems can understand those occluded instances by contextual reasoning and association, our experiments suggest that current video understanding systems are not satisfying. On the OVIS dataset, the highest AP achieved by state-of-the-art algorithms is only 14.4, which reveals that we are still at a nascent stage for understanding objects, instances, and videos in a real-world scenario. In experiments, a simple plug-and-play module that performs temporal feature calibration is proposed to complement missing object cues caused by occlusion. Built upon MaskTrack R-CNN and SipMask, we obtain an AP of 15.1 and 14.5 on the OVIS dataset and achieve 32.1 and 35.1 on the YouTube-VIS dataset respectively, a remarkable improvement over the state-of-the-art methods. The OVIS dataset is released at http://songbai.site/ovis , and the project code will be available soon.

연구 동기 및 목표

• 중요한 오clusion 상황에서 비디오 이해 시스템의 성능을 조사하기 위해.
• 오clusion 비디오 인스턴스 세분화를 위한 대규모 고품질 데이터셋을 수집하고 공개하기 위해.
• 오clusion 상황에서 특징 표현을 향상시키는 즉시 사용 가능한 모듈을 개발하기 위해.
• 현재 비디오 인스턴스 세분화 모델이 실제 오clusion 상황에서 가지는 한계를 평가하기 위해.
• 시간적 특징 캘리브레이션을 통해 오clusion 비디오에서의 인스턴스 세분화 정확도를 향상시키기 위해.

제안 방법

• 저자들은 오clusion이 빈번히 발생하는 25개 카테고리에서 296만 개의 인스턴스 마스크를 포함하는 새로운 데이터셋인 OVIS를 소개한다.
• 오clusion 기간 동안 손실된 객체 신호를 복원하기 위해 즉시 사용 가능한 시간적 특징 캘리브레이션 모듈을 제안한다.
• 아키텍처를 대대적으로 변경하지 않고도 MaskTrack R-CNN 및 SipMask와 같은 기존 아키텍처에 모듈을 통합한다.
• 시간 일관성을 활용하여 프레임 간의 정보를 집계함으로써 특징을 보완한다.
• 시간에 걸쳐 장거리 의존성과 맥락적 연관성을 모델링함으로써 특징 표현을 향상시킨다.
• 모델은 엔드 투 엔드로 훈련되며, 추론 중에 적용되어 오clusion 상황에서의 세분화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 현재 비디오 이해 시스템은 심한 오clusion 상황에서도 객체를 정확히 검출하고 세분화할 수 있는가?
• RQ2 최고 성능 기준 비디오 인스턴스 세분화 모델의 성능은 오clusion 상황에서 어떻게 저하되는가?
• RQ3 단순하고 즉시 사용 가능한 모듈을 통해 아키텍처 변경 없이 오clusion 인스턴스 성능을 향상시킬 수 있는가?
• RQ4 시간적 특징 캘리브레이션은 오clusion 기간 동안 손실된 신호를 복원하는 데 어떤 역할을 하는가?
• RQ5 제안된 방법은 OVIS 및 YouTube-VIS와 같은 다양한 데이터셋에 대해 일반화되는가?

주요 결과

• OVIS 데이터셋에서 최고 성능 기준 방법이 달달 수 있는 최고의 AP는 14.4에 불과하여 향상 여지가 크다는 것을 시사한다.
• 제안된 시간적 특징 캘리브레이션 모듈은 OVIS 데이터셋에서 AP를 15.1로 향상시켜 이전 방법에 비해 뚜렷한 향상을 이룬다.
• YouTube-VIS 데이터셋에서는 MaskTrack R-CNN를 사용할 경우 32.1 AP, SipMask를 사용할 경우 35.1 AP를 기록하여 최고 성능 기준 결과를 초월한다.
• 복잡한 재학습 없이도 단순한 즉시 사용 가능한 모듈을 통해 성능 향상을 달성하여 효과성을 입증한다.
• 결과는 현재 모델들이 오clusion에 취약하다는 것을 보여주며, 더 나은 시간적 및 맥락적 추론이 필요함을 시사한다.
• OVIS 데이터셋은 http://songbai.site/ovis 에서 공개되어 향후 오clusion 비디오 이해 연구를 지원한다.