[논문 리뷰] STEP: Segmenting and Tracking Every Pixel

Mark Weber, Jun Xie외 11명|arXiv (Cornell University)|2021. 02. 23.

Visual Attention and Saliency Detection참고 문헌 58인용 수 9

한 줄 요약

이 논문은 긴 영상 시퀀스에 걸쳐 조밀하고 픽셀 수준의 주석이 부여된 실세계 영상 팬옵티크 세그멘테이션을 위한 첫 번째 실세계 기준점인 STEP을 소개한다. 세그멘테이션 및 트래킹 품질(STQ) 지표를 제안하여 세분화 및 장기 트래킹 성능을 공정하게 평가하며, 데이터 부족과 과적합으로 인해 통합 모델이 별도의 파ipeline에 비해 정확도에서 뒤처짐을 입증한다.

ABSTRACT

The task of assigning semantic classes and track identities to every pixel in a video is called video panoptic segmentation. Our work is the first that targets this task in a real-world setting requiring dense interpretation in both spatial and temporal domains. As the ground-truth for this task is difficult and expensive to obtain, existing datasets are either constructed synthetically or only sparsely annotated within short video clips. To overcome this, we introduce a new benchmark encompassing two datasets, KITTI-STEP, and MOTChallenge-STEP. The datasets contain long video sequences, providing challenging examples and a test-bed for studying long-term pixel-precise segmentation and tracking under real-world conditions. We further propose a novel evaluation metric Segmentation and Tracking Quality (STQ) that fairly balances semantic and tracking aspects of this task and is more appropriate for evaluating sequences of arbitrary length. Finally, we provide several baselines to evaluate the status of existing methods on this new challenging dataset. We have made our datasets, metric, benchmark servers, and baselines publicly available, and hope this will inspire future research.

연구 동기 및 목표

• 영상 팬옵티크 세그멘테이션을 위한 실세계의 장기적인 영상 데이터셋이 조밀한 픽셀 수준의 주석이 부여된 부족한 문제를 해결하기 위해.
• 기존의 VPQ 및 PTQ와 같은 지표들이 트래킹 성능을 공정하게 평가하지 못하는 한계를 극복하기 위해.
• 공개된 데이터셋, 평가 서버, 기준선을 제공하여 방법 간의 공정한 비교를 가능하게 하는 표준화된 기준점을 제공하기 위해.
• 통합 모델과 별도의 모델 간의 성능 격차가 통합 세그멘테이션 및 트래킹에서 나타나는지 밝히기 위해.
• 조밀한 영상 이해를 위한 종단 간 통합 아키텍처로 향후 연구를 촉진하기 위해.

제안 방법

• 긴 영상 시퀀스에 걸쳐 모든 픽셀에 대해 세분화 클래스와 고유한 트랙 ID를 부여한 새로운 두 개의 데이터셋인 KITTI-STEP과 MOTChallenge-STEP을 주석 처리하기 위해.
• 세그멘테이션과 트래킹을 픽셀 수준에서 평가할 수 있도록 균형 잡힌 가중치를 적용한 세그멘테이션 및 트래킹 품질(STQ) 지표를 설계하기 위해.
• 모든 예측이 지표에 대해 지표 기반으로 평가되도록 픽셀 단위의 프레임별 비교를 통해 STQ를 계산하기 위해.
• 다양한 기준선을 구현: 팬옵티크 세그멘테이션과 트래킹을 위한 별도의 모델(B1–B3), 옵티컬 플로우 또는 통합 아키텍처를 사용한 통합 모델(B4, VPSNet).
• 공개된 기준점 서버를 구축하여 제출된 방법에 대한 표준화되고 재현 가능한 평가를 가능하게 하기 위해.
• STQ와 VPQ, PTQ를 비교하여 지표의 편향을 분석하고, STQ가 트래킹 품질 변화를 더 잘 포착함을 보여주기 위해.

실험 결과

연구 질문

• RQ1 기존의 VPQ 및 PTQ 지표들은 영상 팬옵티크 세그멘테이션에서 진정한 트래킹 성능을 반영하지 못하는 이유는 무엇인가요?
• RQ2 장기적인 영상 시퀀스에서 통합 세그멘테이션 및 트래킹을 위한 별도의 모델과 통합 모델 간의 성능 격차는 어떻게 되나요?
• RQ3 운동 기반 및 외관 기반 트래킹 신호는 조밀한 영상 이해에서 장기적인 트래킹 일관성에 어떤 영향을 미치나요?
• RQ4 데이터 부족과 과적합은 모듈러 파이프라인에 비해 통합 모델에 얼마나 큰 영향을 미치나요?
• RQ5 STQ와 같은 새로운 지표는 실세계의 장기적인 영상 기준점에서 세그멘테이션과 트래킹 품질을 공정하게 균형 있게 평가할 수 있나요?

주요 결과

• STQ 지표는 트래킹 품질 변화를 성공적으로 포착하지만, VPQ와 PTQ는 연관 품질의 상당한 차이에도 불구하고 최소한의 변동을 보이며, 이는 트래킹 품질 변화를 반영하지 못함을 의미한다.
• B1–B3와 같은 별도의 모델은 STQ와 AQ 모두에서 통합 모델(B4, VPSNet)보다 뛰어난 성능을 보이며, 특히 MOTChallenge-STEP에서 더 나은 일반화 능력과 과적합 감소로 인해 성능이 뛰어나다.
• B3는 최신의 팬옵티크 세그멘테이션과 옵티컬 플로우를 조합하여 가장 높은 STQ와 AQ를 달성하여 운동 기반 마스크 전파의 효과성을 입증한다.
• VPSNet는 낮은 세그멘테이션 품질(SQ)으로 인해 높은 정밀도를 보이지만 낮은 재현율을 보이며, 이는 제한된 훈련 데이터에 과적합된 결과로 보인다.
• MOTChallenge-STEP은 KITTI-STEP보다 더 도전적인데, 이는 겹치는 보행자 트랙과 감소된 훈련 데이터로 인해 통합 모델에 더 큰 영향을 미치기 때문이다.
• STQ 지표는 기존 지표들이 트래킹 성능 격차를 체계적으로 과소 평가하고 있음을 드러내며, 새로운 균형 잡힌 평가 철학의 필요성을 입증한다.