[논문 리뷰] Learning a Spatio-Temporal Embedding for Video Instance Segmentation

Anthony Hu, Alex Kendall외 1명|arXiv (Cornell University)|2019. 12. 19.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 18

한 줄 요약

이 논문은 실시간이며 인과적인 시공간 임베딩 네트워크를 제안하여 영상 인스턴스 세분화를 수행하며, 외관, 운동, 단안적 깊이를 종합적으로 활용하여 시간에 걸쳐 동일한 객체의 픽셀을 클러스터링한다. 3차원 인과 컨볼루션 네트워크와 자기지도 학습 기반 깊이 추정을 통해 KITTI MOTS 데이터셋에서 최신 기술 수준의 성능을 달성하며, 후처리 없이도 가림과 누락 탐지 상황에서도 견고한 추적을 가능하게 한다.

ABSTRACT

We present a novel embedding approach for video instance segmentation. Our method learns a spatio-temporal embedding integrating cues from appearance, motion, and geometry; a 3D causal convolutional network models motion, and a monocular self-supervised depth loss models geometry. In this embedding space, video-pixels of the same instance are clustered together while being separated from other instances, to naturally track instances over time without any complex post-processing. Our network runs in real-time as our architecture is entirely causal - we do not incorporate information from future frames, contrary to previous methods. We show that our model can accurately track and segment instances, even with occlusions and missed detections, advancing the state-of-the-art on the KITTI Multi-Object and Tracking Dataset.

연구 동기 및 목표

• 미래 프레임 정보에 의존하지 않고도 시간적 일관성을 유지하는 실시간 영상 인스턴스 세분화 방법을 개발하는 것.
• 시공간 임베딩을 활용하여 가림과 누락 탐지 상황에서도 인스턴스 추적의 견고성을 향상시키는 것.
• 단안적 깊이 추정을 자기지도 학습의 지도 신호로 통합하여 임베딩의 해석 가능성을 향상시키는 것.
• 종합적인 후처리를 제거하기 위해 엔드 투 엔드 학습을 통해 클러스터링에 유리한 임베딩 공간을 직접 학습하는 것.
• 완전히 인과적인 아키텍처를 사용하여 KITTI 다객체 추적 데이터셋(MOTS)에서 최신 기술 수준을 향상시키는 것.

제안 방법

• 3차원 인과 컨볼루션 신경망이 과거 프레임을 처리하여 임베딩 공간에서 시공간적 운동 특징을 인코딩한다.
• 연속된 프레임에서 깊이를 예측하기 위해 자기지도 학습 기반의 단안적 깊이 손실을 사용하여 임베딩의 기하학적 일관성을 향상시킨다.
• 시공간 임베딩 손실은 동일 인스턴스의 픽셀이 서로 가까이 클러스터링되도록 유도하며, 다른 인스턴스와는 분리되도록 한다.
• 누적된 과거 임베딩에 대해 평균 이동 클러스터링을 수행하여 인스턴스 간 대응 관계를 설정하며, 흡인 및 반발 반경을 사용해 시간에 걸쳐 인스턴스를 매칭한다.
• 인스턴스 수준의 임베딩 일관성과 깊이 예측을 결합한 통합 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.
• 모든 구성 요소는 인과적이도록 설계되어 과거 및 현재 프레임만을 사용함으로써 실시간 추론을 보장한다.

실험 결과

연구 질문

• RQ1 인과적인 3차원 컨볼루션 네트워크가 영상 인스턴스 세분화를 위해 운동과 시간적 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 자기지도 학습 기반의 단안적 깊이를 통합하면 시공간 임베딩의 품질과 견고성이 향상되는가?
• RQ3 제안된 임베딩 손실이 후처리 없이도 가림과 누락 탐지 상황에서도 일관된 인스턴스 추적을 가능하게 하는가?
• RQ4 시퀀스 길이가 학습된 시공간 임베딩의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 기하학적 정보 통합이 유사한 외관이나 겹치는 객체 간의 해석 가능성을 어느 정도 향상시키는가?

주요 결과

• 모델은 KITTI MOTS 데이터셋에서 MOTSA 점수 0.714과 sMOTSA 0.644를 기록하여 최신 기술 수준을 향상시켰다.
• 정확한 클러스터링과 배경 세분화를 고려한 경우 sMOTSA가 0.461에서 0.644로 향상되었으며, 이는 정확한 클러스터링의 이점이 있음을 보여준다.
• 학습에 최적의 시퀀스 길이는 5프레임이며, 장기적 임베딩 제약 조건 간 갈등으로 인해 더 긴 시퀀스는 성능을 떨어뜨린다.
• 10프레임을 초과하는 시퀀스에서는 성능이 크게 떨어지며(sMOTSA: 0.273), 장기적 동역학을 모델링하는 데 한계가 있음을 시사한다.
• 깊이 통합으로 인해 임베딩의 구조가 향상되었으며, 정적 및 부분적 가림 상황에서도 정확한 추적을 가능하게 했으며, 정성적 결과에서 이를 확인할 수 있었다.
• 임베딩 공간에 유지된 시간적 맥락 덕분에 모델은 예를 들어 그림 3(c)의 초록색 차량과 같이 완전한 가림 상황에서도 인스턴스를 성공적으로 추적하였다.