[논문 리뷰] Occluded Video Instance Segmentation: A Benchmark

Jiyang Qi, Yan Gao외 8명|arXiv (Cornell University)|2021. 02. 02.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 25개의 카테고리에 걸쳐 296만 개의 인스턴스 마스크를 포함하며 심각한 가림을 특징으로 하는, 가림된 비디오 인스턴스 세그멘테이션을 위한 대규모 벤치마크인 OVIS를 소개한다. 이는 인접 프레임을 활용하여 특징 표현을 향상시키는 플러그 앤 플레이형 시간적 특징 캘리브레이션 모듈을 제안하며, MaskTrack R-CNN 기준으로 4.6 AP 향상과 SipMask 기준으로 4.1 AP 향상을 달성하여, 비디오 이해 시스템에서 더 나은 가림 인식이 필수적임을 입증한다.

ABSTRACT

Can our video understanding systems perceive objects when a heavy occlusion exists in a scene? To answer this question, we collect a large-scale dataset called OVIS for occluded video instance segmentation, that is, to simultaneously detect, segment, and track instances in occluded scenes. OVIS consists of 296k high-quality instance masks from 25 semantic categories, where object occlusions usually occur. While our human vision systems can understand those occluded instances by contextual reasoning and association, our experiments suggest that current video understanding systems cannot. On the OVIS dataset, the highest AP achieved by state-of-the-art algorithms is only 16.3, which reveals that we are still at a nascent stage for understanding objects, instances, and videos in a real-world scenario. We also present a simple plug-and-play module that performs temporal feature calibration to complement missing object cues caused by occlusion. Built upon MaskTrack R-CNN and SipMask, we obtain a remarkable AP improvement on the OVIS dataset. The OVIS dataset and project code are available at http://songbai.site/ovis .

연구 동기 및 목표

• 실세계 비디오 이해에서 흔하지만 다뤄지지 않은 심각한 물체 가림 상황에서 비디오 인스턴스 세그멘테이션의 과제를 해결하기 위해.
• 가림된 비디오 인스턴스 세그멘테이션을 평가하기 위해 특별히 설계된 대규모 고품질 벤치마크 데이터셋을 개발하기 위해.
• 현재 비디오 이해 모델이 인간 시각 인지와 비교해 가려진 물체를 인식하는 데에 얼마나 한계가 있는지 조사하기 위해.
• 가림으로 인한 시각적 단서의 손실을 보완하기 위해 시간적 맥락을 활용하는 플러그 앤 플레이 모듈을 제안하고 검증하기 위해.
• 향후 연구를 위한 기초를 제공하기 위해, 가림 인식 모델링, 데이터 증강, 비디오 인스턴스 세그멘테이션을 위한 자기지도 사전학습에 초점을 맞추기 위해.

제안 방법

• OVIS 데이터셋은 25개의 의미 카테고리, 5,223개의 심각하게 가려진 인스턴스, 296만 개의 고품질 인스턴스 마스크를 포함하며, 가림 수준을 명시적으로 '비가려짐(녹색)', '약간 가려짐(Yellow)', '심각하게 가려짐(빨강색)'으로 애너테이션한다.
• 다양한 가림 수준에서의 성능 평가를 가능하게 하기 위해, AP 기반의 새로운 메트릭이 도입되어 모델의 강건성에 대한 세분화된 분석이 가능해진다.
• 기준 프레임에서 특징을 보정하기 위해 시간적 맥락을 활용하는 플러그 앤 플레이형 시간적 특징 캘리브레이션(TFC) 모듈을 제안한다. 이 모듈은 변형 가능 컨볼루션을 사용해 기준 프레임으로의 보정 오프셋을 학습한다.
• 쿼리 프레임에 대해 TFC 모듈은 ε_test 범위 내의 기준 프레임을 선택하고, 쿼리 프레임의 특징을 사용해 보정 오프셋을 계산한 후, 이를 기준 프레임의 특징에 적용하여 표현을 향상시킨다.
• 개선된 기준 프레임 특징은 쿼리 프레임의 객체 인식 및 세그멘테이션을 지원하여, 가림으로 인한 정보 손실을 효과적으로 복원한다.
• TFC 모듈은 MaskTrack R-CNN과 SipMask라는 두 가지 강력한 베이스라인에 적용되어, 모든 가림 수준에서 일관된 AP 향상을 입증한다.

실험 결과

연구 질문

• RQ1 현재 최신의 비디오 인스턴스 세그멘테이션 모델은 인간의 시각 인지와 비교해 극도로 가려진 장면에서 얼마나 잘 성능을 내는가?
• RQ2 인접 프레임에서의 시간적 맥락은 비디오 인스턴스 세그멘테이션에서 가려진 물체의 인식을 얼마나 향상시킬 수 있는가?
• RQ3 시간 정보를 사용해 특징을 캘리브레이션하는 플러그 앤 플레이 모듈이 가려진 비디오 인스턴스 세그멘테이션의 성능을 크게 향상시킬 수 있는가?
• RQ4 가려진 상황에서 시간적 특징 캘리브레이션에 최적의 기준 프레임 범위(ε_test)는 무엇인가?
• RQ5 시간적 특징 캘리브레이션으로 얻는 성능 향상은 비가려짐, 약간 가려짐, 심각하게 가려짐 등의 서로 다른 가림 수준에서 어떻게 달라지는가?

주요 결과

• OVIS 벤치마크에서 최신 알고리즘의 최고 평균 정밀도(AP)는 16.3에 불과하여, 비가려진 데이터셋에서의 모델들과 비교해 뚜렷한 성능 격차가 있음을 시사한다.
• 가장 도전적인 그룹인 심각하게 가려진 물체에 대해선 최고 AP가 6.3에 그쳐, 현재 모델이 심각한 가림에 대해 크게 어려움을 겪고 있음을 입증한다.
• 제안된 시간적 특징 캘리브레이션(TFC) 모듈은 MaskTrack R-CNN에서 4.6점, SipMask에서 4.1점의 AP 향상을 이끌어내어, 다양한 아키텍처에 걸쳐 강력한 일반화 능력을 보여준다.
• 최적의 기준 프레임 범위 ε_test는 5로 확인되었으며, 이 값에서 성능이 최고조에 이르렀고, ε_test = 1이 ε_test = 0보다도 우수함을 입증하여, 인접 프레임이 유의미한 맥락을 제공한다는 것을 증명한다.
• 가장 높은 상대적 AP 향상은 심각하게 가려진 물체(AP_HO)에서 관찰되어, 시간적 특징 캘리브레이션이 가장 필요한 곳에서 가장 효과적임을 확인한다.
• 약간 가려진 물체(AP_MO)에 대한 상대적 향상은 중간 수준이며, 비가려진 물체(AP_SO)에 대한 향상은 가장 작다. 이는 모듈이 특정히 가림 보완을 위해 설계되었음을 확인한다.