[논문 리뷰] Learning to Segment Instances in Videos with Spatial Propagation Network

Jingchun Cheng, Sifei Liu외 7명|arXiv (Cornell University)|2017. 09. 14.

Visual Attention and Saliency Detection참고 문헌 28인용 수 19

한 줄 요약

이 논문은 공간 전파 네트워크(SPN)와 연결 영역 인식 필터(CRAF)를 사용하여 공간 경계와 시간적 일관성을 개선하는 비디오 인스턴스 세그멘테이션 프레임워크를 제안한다. 먼저 ResNet-101 백본을 사용해 배경/전경 세그멘테이션을 수행한 후, 첫 번째 프레임의 인스턴스 마스크로 미세조정을 수행하고, 학습된 픽셀 간 유사도를 통해 SPN을 사용해 세그멘테이션 점수를 전파하며, 공간적·시간적 일관성을 강제하기 위해 CRAF를 적용한다. 이로 인해 DAVIS 2017에서 최고 성능을 기록하여 전역 평균 IoU가 0.576에 도달한다.

ABSTRACT

We propose a deep learning-based framework for instance-level object segmentation. Our method mainly consists of three steps. First, We train a generic model based on ResNet-101 for foreground/background segmentations. Second, based on this generic model, we fine-tune it to learn instance-level models and segment individual objects by using augmented object annotations in first frames of test videos. To distinguish different instances in the same video, we compute a pixel-level score map for each object from these instance-level models. Each score map indicates the objectness likelihood and is only computed within the foreground mask obtained in the first step. To further refine this per frame score map, we learn a spatial propagation network. This network aims to learn how to propagate a coarse segmentation mask spatially based on the pairwise similarities in each frame. In addition, we apply a filter on the refined score map that aims to recognize the best connected region using spatial and temporal consistencies in the video. Finally, we decide the instance-level object segmentation in each video by comparing score maps of different instances.

연구 동기 및 목표

• 비정형 운동, 가림, 시점 변화 등에 대응하여 정확한 인스턴스 수준의 비디오 객체 세그멘테이션을 달성하는 데 도전한다.
• 기존의 전통적 CRF 후처리 방식을 대체하여, 딥러닝 기반 비디오 세그멘테이션에서 경계 정렬을 향상시키기 위해 학습 가능한 공간 전파 메커니즘을 도입한다.
• 다양한 프레임 간 일관성 없는 레이블 영역을 탐지하고 제거하여 인스턴스 추적의 시간적 일관성을 향상시킨다.
• 실시간 적용이 가능한 실용적인 효율성과 확장성을 갖춘 파이프라인을 개발한다. 이는 인스턴스에 특화된 미세조정 모델과 경량 후처리 모듈을 조합한 것이다.

제안 방법

• 학습 세트에서 ResNet-101을 사용해 일반적인 전경/배경 세그멘테이션 모델을 훈련한 후, 각 테스트 비디오의 첫 번째 프레임 인스턴스 마스크로 미세조정을 수행한다.
• 각 인스턴스별로, 미세조정된 모델을 사용해 전경 마스크 내에서 객체 가능성 확률을 예측함으로써 인스턴스별 점수 맵을 구성한다.
• 학습된 픽셀 간 유사도를 사용해 선형 2D 전파 모듈을 통해 점수를 전파함으로써, 공간 전파 네트워크(SPN)를 도입해 굵은 세그멘테이션 마스크를 정밀하게 개선한다.
• 공간적·시간적 일관성을 활용하여 일관성 없는 세그먼트를 제거하기 위해 연결 영역 인식 필터(CRAF)를 적용한다.
• 다양한 프레임 간 인스턴스 점수 맵을 결합하고, 모든 점수 값이 0.5 이하일 경우 배경으로 간주하여 각 픽셀을 점수 값이 가장 높은 인스턴스에 할당한다.
• 두 단계로 구성된 추론 파이프라인을 사용한다. 첫 번째 단계에서 인스턴스별 점수 맵을 생성하고, 두 번째 단계에서 SPN과 CRAF를 통해 이를 정밀하게 개선함으로써 정확도와 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 공간 전파 메커니즘이 전통적인 CRF 기반 후처리 방식보다 비디오 인스턴스 세그멘테이션의 객체 경계 정밀도 향상에 더 효과적인가?
• RQ2 가림 또는 추적 오차로 인해 발생하는 시간적으로 일관성 없는 세그멘테이션을 제거하는 데 Connected Region-Aware Filter(CRAF)가 얼마나 효과적인가?
• RQ3 첫 번째 프레임 인스턴스 마스크로 일반 세그멘테이션 모델을 미세조정하면, 일반 모델 대비 인스턴스 수준 정확도가 얼마나 향상되는가?
• RQ4 비정형 운동과 가림이 있는 복잡한 비디오 시퀀스에서 SPN과 CRAF가 전체 성능 향상에 기여하는 비율은 어느 정도인가?
• RQ5 제안된 방법은 낮은 추론 오버헤드를 유지하면서도 실시간 배포에 적합한 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 DAVIS 2017 검증 세트에서 전역 평균 IoU가 0.576에 도달하여, 비디오별 모델 대비 2.1% 향상된 성능을 기록했다.
• 공간 전파 네트워크(SPN)만으로도 후처리 없이 기준 모델 대비 전역 평균이 5.6% 향상되었다.
• 연결 영역 인식 필터(CRAF)는 전역 평균에서 3.9% 향상시키며, 일관성 없는 레이블 제거에 효과적임을 입증했다.
• DAVIS 2017 챌린지 테스트 세트에 적용했을 때, CRAF는 J-Mean을 51.6%에서 53.6%로, F-Mean을 57.9%에서 60.2%로 향상시켰다.
• DAVIS 2017 챌린지에서 10개 팀 중 6위를 기록하여 전역 평균 0.569, F-Mean 0.602의 성능을 달성했다.
• 실행 시간 분석 결과, 전체 파이프라인은 Titan X GPU에서 프레임당 객체당 0.78초에 실행되며, SPN과 CRAF는 각각 0.08초와 0.1초의 최소 오버헤드만 추가한다.