[논문 리뷰] Interactive Video Object Segmentation in the Wild

Arnaud Benard, Michael Gygli|arXiv (Cornell University)|2017. 12. 31.

Visual Attention and Saliency Detection참고 문헌 14인용 수 34

한 줄 요약

이 논문은 최소한의 사용자 클릭으로 빠르게 개선되는 객체 마스크를 사용하여 상호작용형 비디오 객체 분할을 위한 실용적인 시스템을 제안한다. 클릭 기반 피드백을 반복적으로 이용해 초깃 segmentation 을 향상시키는 방식으로, GrabCut 데이터셋에서 최신 기준 성능을 달성한다 (평균 3.8번의 클릭으로 90% IoU), 난이도 높은 영상 시퀀스에서도 빠르고 정확한 비디오 분할을 가능하게 한다.

ABSTRACT

In this paper we present our system for human-in-the-loop video object segmentation. The backbone of our system is a method for one-shot video object segmentation. While fast, this method requires an accurate pixel-level segmentation of one (or several) frames as input. As manually annotating such a segmentation is impractical, we propose a deep interactive image segmentation method, that can accurately segment objects with only a handful of clicks. On the GrabCut dataset, our method obtains 90% IOU with just 3.8 clicks on average, setting the new state of the art. Furthermore, as our method iteratively refines an initial segmentation, it can effectively correct frames where the video object segmentation fails, thus allowing users to quickly obtain high quality results even on challenging sequences. Finally, we investigate usage patterns and give insights in how many steps users take to annotate frames, what kind of corrections they provide, etc., thus giving important insights for further improving interactive video segmentation.

연구 동기 및 목표

• 시간이 오래 걸리는 수동 픽셀 수준의 애너테이션에 의존도를 줄여 상호작용형 비디오 객체 분할을 실제 응용에 실용적으로 만들기 위해.
• 운동 흐림, 가림, 나쁜 구성 등 복잡한 시나리오에서 실패하는 완전 자동 비디오 분할 방법의 한계를 해결하기 위해.
• 사용자 클릭을 통해 초깃마스크를 반복적으로 개선하는 효율적인 상호작용형 이미지 분할 방법을 개발하여 비디오 분할을 위한 빠르고 정확한 초기화를 가능하게 하기 위해.
• 실제 사용자 상호작용 패턴을 분석하여 향후 상호작용형 분할 도구 설계와 사용자 편의성 향상에 기여하기 위해.
• 하류 비디오 분할 파이프라인에서 완벽한 지표 마스크 대신 근사 마스크(상호작용 분할에서 유도된)를 사용할 경우의 영향을 평가하기 위해.

제안 방법

• RGB 이미지, 사용자 클릭(가우시안 맵으로 인코딩된), 현재 분할 마스크를 추가 이진 채널로 포함하는 딥 컨volution 신경망을 제안한다.
• 클릭 위치에 중심을 둔 가우시안 커널을 사용해 사용자 클릭을 인코딩하여, 유클리드 거리 맵 대비 매끄럽고 국소적인 영향을 부여하고 정밀도를 향상시킨다.
• 모의 사용자 상호작용을 통해 모델을 훈련시키며, 전경 클릭은 지표 객체 경계 주변의 마진에서 샘플링하고 배경 클릭은 초깃값 예측의 오차 영역에서 추출한다.
• 상호작용 분할 모델을 이중 단계 비디오 분할 파이프라인에 통합한다: 첫 번째로 첫 번째 프레임을 소수의 클릭으로 상호작용적으로 분할하고, 두 번째로 마스크를 OSVOS를 통해 다른 프레임으로 전파한다.
• 사용자가 1~2번의 클릭으로 개별 프레임을 수정할 수 있도록 하여 OSVOS 예측 오류를 수정하는 방식으로 방법을 확장하며, 기존 마스크를 개선할 수 있는 모델의 능력을 활용한다.
• 실제 사용 환경에서 관찰되는 다양한 사용자 입력 패턴에 대응하기 위해 시뮬레이션 클릭과 스트로크를 조합하여 모델을 훈련시켜 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 상호작용 분할 방법이 정확한 객체 분할을 유지하면서도 요구되는 클릭 수를 크게 줄일 수 있는가?
• RQ2 OSVOS와 같은 하류 비디오 객체 분할 모델의 성능에 대해, 완벽한 픽셀 정확도 애너테이션 대신 근사적인 클릭 기반 마스크를 사용할 경우 어떤 영향을 미치는가?
• RQ3 실제 상호작용 분할에서 지배적인 사용자 상호작용 패턴은 무엇이며, 이는 시스템 설계와 사용자 편의성에 어떤 영향을 미치는가?
• RQ4 반복적인 마스크 초기화 개선이 운동 흐림이나 가림이 있는 난이도 높은 비디오 시퀀스에서 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 사용자 상호작용 패턴과 분할 난이도를 예측하여 사용자가 더 적합한 시퀀스를 선택하거나 시스템 피드백을 향상시킬 수 있는가?

주요 결과

• 제안된 상호작용 분할 방법은 GrabCut 데이터셋에서 평균 3.8회의 클릭으로 90% IoU를 달성하여 새로운 최고 기록을 수립한다.
• 단 한 번의 클릭만으로도 마스크 IoU가 13.4% 향상되며, iFCN 및 GrabCut와 같은 기존 기준 방법보다 유의미하게 뛰어나며, 일부 방법은 개선이 거의 없거나 오히려 악화되는 경향을 보인다.
• 상호작용 방법으로 생성된 마스크를 OSVOS의 입력으로 사용할 경우, 완벽한 지표 마스크를 사용할 때 대비 IoU가 -3.2% 감소할 뿐이며, 성능 저하가 미미하다.
• 사용자는 일반적으로 첫 번째 프레임에 대해 평균 4회, 이후 프레임에 대해도 평균 4회의 개선 반복을 수행하며, 이는 初기 정확도가 매우 중요함을 시사한다.
• 사용자의 15%만 추가 프레임 개선을 수행하며, 이는 초기 분할 정확도가 사용자 만족도에 결정적인 영향을 미친다는 것을 의미한다.
• OSVOS 성능과 연속 프레임 마스크 간 평균 IoU 사이에 강한 상관관계가 존재하며, 이는 높은 운동 변화나 큰 외관 변화가 분할 정확도를 떨어뜨린다는 것을 나타낸다.