[논문 리뷰] Video Instance Segmentation

Linjie Yang, Yuchen Fan외 1명|arXiv (Cornell University)|2019. 05. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 15

한 줄 요약

이 논문은 객체 검출, 인스턴스 세그멘테이션, 영상 내 추적을 통합하는 새로운 작업인 비디오 인스턴스 세그멘테이션을 소개한다. 저자들은 비디오 프레임 간 인스턴스를 연동하기 위해 외부 메모리에 인스턴스 임베딩을 유지하는 추적 브랜치를 갖춘 MaskTrack R-CNN이라는 새로운 방법을 제안하며, 고해상도 영상 2,883개와 131,000개의 마스크를 포함하는 새로운 YouTube-VIS 벤치마크에서 30.3 AP의 성능을 달성한다.

ABSTRACT

In this paper we present a new computer vision task, named video instance segmentation. The goal of this new task is simultaneous detection, segmentation and tracking of instances in videos. In words, it is the first time that the image instance segmentation problem is extended to the video domain. To facilitate research on this new task, we propose a large-scale benchmark called YouTube-VIS, which consists of 2883 high-resolution YouTube videos, a 40-category label set and 131k high-quality instance masks. In addition, we propose a novel algorithm called MaskTrack R-CNN for this task. Our new method introduces a new tracking branch to Mask R-CNN to jointly perform the detection, segmentation and tracking tasks simultaneously. Finally, we evaluate the proposed method and several strong baselines on our new dataset. Experimental results clearly demonstrate the advantages of the proposed algorithm and reveal insight for future improvement. We believe the video instance segmentation task will motivate the community along the line of research for video understanding.

연구 동기 및 목표

• 비디오 내 객체 검출, 세그멘테이션, 추적을 통합하는 새로운 컴퓨터 비전 작업으로서 비디오 인스턴스 세그멘테이션을 공식적으로 정의하고 탐구하는 것.
• 이전에 이 분야의 발전을 저해했던 대규모 고품질 데이터셋의 부족 문제를 해결하는 것.
• 영상 프레임 간 인스턴스 세그멘테이션과 추적을 동시에 수행하는 새로운 딥 러닝 프레임워크인 MaskTrack R-CNN을 제안하는 것.
• YouTube-VIS 데이터셋을 활용하여 비디오 인스턴스 세그멘테이션의 벤치마크를 설정함으로써 향후 방법의 평가 및 비교를 가능하게 하는 것.

제안 방법

• 외부 메모리에 인스턴스 임베딩을 유지하여 프레임 간 매칭을 가능하게 하는 새로운 추적 브랜치를 Mask R-CNN에 확장한다.
• 검출 신뢰도, 박스 IoU, 카테고리 일致성을 통합한 매칭 점수 $ v_i $ 를 도입하여 프레임 간 인스턴스를 연동한다.
• 정답 박스에서 추출한 RoIAlign 특징을 활용해 외관 유사도를 계산함으로써 추적에 대한 강건한 인스턴스 연동을 가능하게 한다.
• 예측된 인스턴스를 외부 메모리에 저장하고, 학습된 유사도 함수를 사용해 후속 프레임의 객체와 매칭한다.
• 공간적(이격도), 의미적(카테고리), 검출 신뢰도 신호에 대한 부드러운 제약 조건을 적용하여 추적의 강건성을 향상시킨다.
• 두 단계 추론 파이프라인을 설계한다: 먼저 각 프레임의 검출 및 마스크를 예측하고, 이후 추적 브랜치를 사용해 프레임 간 연동을 수행한다.

실험 결과

연구 질문

• RQ1 정확도와 일관성을 향상시키기 위해 비디오 내에서 인스턴스 세그멘테이션과 추적을 어떻게 공동 최적화할 수 있는가?
• RQ2 공간, 외관, 운동, 카테고리 신호는 효과적인 비디오 인스턴스 추적에서 어떤 역할을 하는가?
• RQ3 비디오 인스턴스 세그멘테이션 성능는 이미지 수준의 검출 정확도와 프레임 간 연동 능력 중 어느 쪽에 더 의존하는가?
• RQ4 기존의 관련 작업(예: 비디오 객체 검출 또는 세그멘테이션)의 방법들은 비디오 인스턴스 세그멘테이션에 얼마나 잘 적응할 수 있는가?
• RQ5 비디오 인스턴스 세그멘테이션의 주요 병목 현상은 무엇이며, 모델 설계와 훈련을 통해 이를 어떻게 해결할 수 있는가?

주요 결과

• 제안된 MaskTrack R-CNN는 YouTube-VIS 검증 세트에서 30.3 AP를 달성하여 강력한 베이스라인을 크게 앞서 간다.
• 박스 IoU와 카테고리 일치성 신호가 성능에 가장 큰 기여를 하며, 이를 제거하면 AP가 약 5% 감소한다.
• 검출 신뢰도 점수는 유의미한 개선을 제공할 뿐만 아니라, 공간적 및 의미적 일관성이 더 중요하다는 것을 시사한다.
• 이미지 수준의 예측이 주요 병목 요소이다: 정답 이미지 수준의 애너테이션을 사용하더라도 성능은 78.7 AP에 머무르며 향상 여지가 있음을 보여준다.
• 정체성 오라클(정답 정체성 사용)은 MaskTrack R-CNN에 비해 거의 개선되지 않아, 추적 자체가 주요 제약 요소는 아님을 시사한다.
• 제거 실험 결과, 검출, IoU, 카테고리, 외관의 네 가지 신호를 모두 조합할 경우 최고의 성능(30.3 AP)을 달성함을 확인하였다.