[논문 리뷰] Semantically-Guided Video Object Segmentation

Sergi Caelles, Yuhua Chen외 2명|arXiv (Cornell University)|2017. 04. 06.

Visual Attention and Saliency Detection참고 문헌 24인용 수 10

한 줄 요약

이 논문은 첫 번째 프레임의 외관 모델과 인스턴스 수준의 세그멘테이션에서 유도된 의미적 사전 지식을 융합함으로써 준감독형 비디오 오브제クト 세그멘테이션을 향상시키는 Semantically-Guided Video Object Segmentation (SGV)를 제안한다. 외관과 의미적 신호를 결합하기 위해 조건부 분류기를 사용함으로써, SGV는 DAVIS 및 YouTube-Objects에서 최신 기술 수준의 성능을 달성하며, 장시간의 시퀀스 동안 높은 정확도를 유지하고 평균 프레임당 547ms 내외로 실시간으로 실행된다.

ABSTRACT

This paper tackles the problem of semi-supervised video object segmentation, that is, segmenting an object in a sequence given its mask in the first frame. One of the main challenges in this scenario is the change of appearance of the objects of interest. Their semantics, on the other hand, do not vary. This paper investigates how to take advantage of such invariance via the introduction of a semantic prior that guides the appearance model. Specifically, given the segmentation mask of the first frame of a sequence, we estimate the semantics of the object of interest, and propagate that knowledge throughout the sequence to improve the results based on an appearance model. We present Semantically-Guided Video Object Segmentation (SGV), which improves results over previous state of the art on two different datasets using a variety of evaluation metrics, while running in half a second per frame.

연구 동기 및 목표

• 조명 변화, 가림, 시점 이동 등의 원인으로 인해 외관이 변하는 상황에서 비디오 오브제クト 세그멘테이션의 도전 과제를 해결한다.
• 외관이 변화하더라도 일관된 카테고리와 인스턴스 식별성을 유지하는 의미적 불변성을 활용한다.
• 외관 기반 모델에 의미적 사전 지식을 통합하여 장시간의 비디오 시퀀스에서 세그멘테이션 정확도와 강인성을 향상시킨다.
• 외관 모델과 인스턴스 수준의 의미적 세그멘테이션을 통합하여 세그멘테이션 전파를 이끄는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.

제안 방법

• 사전 훈련된 인스턴스 세그멘테이션 네트워크(MNC)로부터 첫 번째 프레임에서 가장 겹치는 인스턴스 수준 세그멘테이션 제안을 식별하여 대상 오브제트의 의미를 추정한다.
• 비디오 시퀀스 전반에 걸쳐 의미 사전 지식(인스턴스 카테고리 및 식별성)을 전파하여 각 프레임에서 세그멘테이션을 안내한다.
• 외관 모델과 의미 사전 지식의 예측을 조합하여 최종 세그멘테이션 마스크를 생성하는, 학습 가능한 컨볼루션 네트워크 모듈인 조건부 분류기 레이어를 사용한다.
• 외관 모델과 함께 조건부 분류기를 엔드 투 엔드로 훈련함으로써, 네트워크가 외관과 의미 신호의 가중치를 적응적으로 학습할 수 있도록 한다.
• 효율성을 위해 외관 모델과 인스턴스 세그멘테이션 네트워크를 병렬로 실행한 후, 빠른 양방향 솔버를 통해 출력을 보정한다.
• 첫 번째 프레임의 마스크를 추적 과정의 초기화에 사용하고, IoU 기반의 인스턴스 매칭을 통해 의미 사전 지식을 후속 프레임으로 전파한다.

실험 결과

연구 질문

• RQ1 인스턴스 수준 세그멘테이션에서 유도된 의미 사전 지식이 극심한 외관 변화 상황에서 외관 기반 비디오 오브제트 세그멘테이션의 강인성을 향상시킬 수 있는가?
• RQ2 예를 들어 오브제트 카테고리와 인스턴스 식별성과 같은 의미적 불변성을 통합할 경우, 장시간의 비디오 시퀀스에서 세그멘테이션 정확도와 시간적 안정성에 어떤 영향을 미치는가?
• RQ3 학습 가능한 조건부 분류기가 외관 또는 시간적 일관성에만 의존하는 방법보다 효과적으로 외관과 의미 정보를 융합할 수 있는가?
• RQ4 가림, 조명 변화, 빠른 운동 등으로 인한 성능 저하를 외관 전용 모델에 비해 의미 사전 지식이 얼마나 줄일 수 있는가?
• RQ5 광학 흐름이나 순환 신경망에 의존하지 않고도, 다양한 비디오 시퀀스에서 높은 정확도를 유지하면서 프레임당 0.6초 이내로 실시간으로 작동할 수 있는가?

주요 결과

• SGV는 DAVIS 데이터셋에서 평균 교차율(мIoU) 82.38을 기록하여 가장 가까운 경쟁자(74.72)를 크게 앞서며 8% 향상된 성능을 보였다.
• 장시간의 시퀀스 동안 높은 성능 수준을 유지하였으며, мIoU 곡선의 최저점이 79.10으로, 다음으로 좋은 방법의 73.62보다 높았다.
• 거짓 음성 비율이 크게 감소하여, 의미 사전 지식을 활용해 가려진 부분이나 부분적으로 보이지 않는 오브제트의 일부를 효과적으로 복원함을 시사한다.
• 평균적으로 프레임당 547ms(외관 모델 120ms, MNC 360ms, 보정 187ms)로 실행되어 실시간 추론이 가능하다.
• 오류 분석 결과, FP-Close(윤곽 정확도 부족)는 일부 베이스라인보다 略로 높지만, 이는 거짓 음성의 급격한 감소로 상쇄되며 더 나은 오브제트 완성도를 의미한다.
• 정성적 결과는 의미 지도 덕분에 복잡한 외관 변화(예: 자동차의 앞면, 측면, 뒷면)가 있는 경우에도 SGV가 오브제트를 성공적으로 세그멘테이션함을 보여준다.