[논문 리뷰] Video Object Segmentation using Supervoxel-Based Gerrymandering

Brent Griffin, Jason J. Corso|arXiv (Cornell University)|2017. 04. 18.

Visual Attention and Saliency Detection참고 문헌 32인용 수 5

한 줄 요약

이 논문은 3D 시공간 슈퍼픽셀인 슈퍼보크셀 내부의 국소적 및 비국소적 공감대를 활용하여 배경 분할을 향상시키는 새로운 비지도 비디오 오브제クト 세그멘테이션 방법인 슈퍼보크셀 고갈(지리적 재편성)을 제안한다. 운동 및 시각적 주목도 신호를 활용하고 계층적 슈퍼보크셀 클러스터링을 통합함으로써, DAVIS 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 많은 지도 학습 방법과 모든 알려진 비지도 접근 방식을 능가한다.

ABSTRACT

Pixels operate locally. Superpixels have some potential to collect information across many pixels; supervoxels have more potential by implicitly operating across time. In this paper, we explore this well established notion thoroughly analyzing how supervoxels can be used in place of and in conjunction with other means of aggregating information across space-time. Focusing on the problem of strictly unsupervised video object segmentation, we devise a method called supervoxel gerrymandering that links masks of foregroundness and backgroundness via local and non-local consensus measures. We pose and answer a series of critical questions about the ability of supervoxels to adequately sway local voting; the questions regard type and scale of supervoxels as well as local versus non-local consensus, and the questions are posed in a general way so as to impact the broader knowledge of the use of supervoxels in video understanding. We work with the DAVIS dataset and find that our analysis yields an unsupervised method that outperforms all other known unsupervised methods and even many supervised ones.

연구 동기 및 목표

• 국소적 및 비국소적 공감대 메커니즘을 분석함으로써 슈퍼보크셀의 비지도 비디오 오브제ект 세그멘테이션에서의 효과성을 조사한다.
• 다양한 슈퍼보크셀 생성 방법—SWA, GBH, SG—이 세그멘테이션 정확도와 강인성에 미치는 영향을 평가한다.
• 세그멘테이션 성능과 시간적 안정성 측면에서 슈퍼보크셀의 최적 계층 수준을 규명한다.
• 학습 데이터나 인간의 개입 없이도 높은 정확도를 달성할 수 있는 투명한 비지도 프레임워크를 개발한다.
• 세그멘테이션을 넘어서 비디오 이해에서 슈퍼보크셀의 역할에 대한 일반적 통찰을 제공한다.

제안 방법

• 운동 및 시각적 주목도 신호를 사용하여 초기 전경도 추정을 수행하며, 통계적 이질도 측정 기반의 가중치를 적용한다.
• 각 슈퍼보크셀 내부에서 시간에 걸쳐 구성 요소 픽셀의 전경도 투표를 집계함으로써 국소적 공감대를 구축한다.
• 공간-시간 기반으로 인접한 슈퍼보크셀 간에 국소적 공감대 값을 전파하고 평균화함으로써 비국소적 공감대를 수립한다.
• 최종 세그멘테이션은 국소적 및 비국소적 공감대를 조합하는 투표 메커니즘을 통해 결정되며, 경계를 정교화하기 위해 고갈 전략을 모방한다.
• 다양한 설정에서 Supervoxel-based Weighted Aggregation (SWA), Hierarchical Graph-Based (GBH), Streaming Graph-based (SG) 세 가지 슈퍼보크셀 방법을 평가한다.
• DAVIS 및 SegTrackv2 벤치마크를 사용하여 J&F, T, F-측정치와 같은 표준 지표로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비디오 오브제ект 세그멘테이션에서 슈퍼보크셀 이웃 간의 비국소적 공감대 대비 슈퍼보크셀 내부의 국소적 공감대는 얼마나 효과적인가?
• RQ2 SWA, GBH, SG 중 어떤 슈퍼보크셀 생성 방법이 다양한 비디오 특성에서 가장 강인하고 정확한 세그멘테이션을 제공하는가?
• RQ3 세그멘테이션 정확도와 시간적 안정성 측면에서 슈퍼보크셀의 최적 계층 수준은 무엇인가?
• RQ4 순수하게 비지도 방법으로 슈퍼보크셀 공감대를 활용하면 표준 벤치마크에서 지도 학습 방법을 능가할 수 있는가?
• RQ5 국소적 및 비국소적 공감대의 다양한 조합이 다양한 데이터셋에서 세그멘테이션 성능에 미치는 영향은 어떠한가?

주요 결과

• SWA 06 설정은 국소적 및 비국소적 공감대를 모두 조합하여 DAVIS 데이터셋에서 가장 높은 성능을 달성하였으며, 모든 알려진 비지도 방법을 능가했다.
• 국소적 공감대가 비국소적 공감대보다 더 강인한 것으로 밝혀졌으며, 특히 높은 계층 수준에서 슈퍼보크셀 내부의 강한 일관성 덕분이었다.
• 계층적 그래프 기반(GBH) 슈퍼보크셀은 다양한 데이터셋에서 가장 일관된 성능을 보였으며, 특히 SegTrackv2의 가변 해상도 비디오에서 뛰어난 성능을 보였다.
• 스트리밍 그래프 기반(SG) 슈퍼보크셀은 SegTrackv2에서 성능 향상을 보였으며, 스트리밍 성격 덕분에 장시간 또는 실시간 비디오 처리에 가장 적합했다.
• 비국소적 공감대에 가장 효과적인 계층 수준은 가장 낮은 수준이었고, 국소적 공감대에는 저수준 및 중간 수준 계층이 가장 적합했으며, '모든' 수준을 포함하는 'All' 설정이 가장 우수한 종합 성능을 보였다.
• 시간적 안정성(T)은 공감대 기반 방법에서 낮게 나타났지만, 국소적 공감대 방법은 비국소적 방법 대비 더 적은 프레임 간 세그멘테이션 점프를 보였다.