[논문 리뷰] Click Carving: Segmenting Objects in Video with Point Clicks

Suyog Dutt Jain, Kristen Grauman|arXiv (Cornell University)|2016. 07. 05.

Visual Attention and Saliency Detection인용 수 14

한 줄 요약

클릭 카빙는 몇 개의 경계 클릭을 사용하여 사전에 계산된 수천 개의 객체 영역 후보를 정밀하게 보정하는 혁신적인 상호작용 영상 객체 분할 방법이다. 이는 이미지 및 운동 신호를 활용하여 영상 전반에 걸쳐 최상의 마스크를 전파한다. 기존의 상호작용 방법에 비해 약 50퍼센트 이상의 애너테이션 시간을 절감하면서도 최신 기술 수준의 정확도를 달성하며, 영상당 평균 2~4개의 클릭만으로도 가능하다.

ABSTRACT

We present a novel form of interactive video object segmentation where a few clicks by the user helps the system produce a full spatio-temporal segmentation of the object of interest. Whereas conventional interactive pipelines take the user's initialization as a starting point, we show the value in the system taking the lead even in initialization. In particular, for a given video frame, the system precomputes a ranked list of thousands of possible segmentation hypotheses (also referred to as object region proposals) using image and motion cues. Then, the user looks at the top ranked proposals, and clicks on the object boundary to carve away erroneous ones. This process iterates (typically 2-3 times), and each time the system revises the top ranked proposal set, until the user is satisfied with a resulting segmentation mask. Finally, the mask is propagated across the video to produce a spatio-temporal object tube. On three challenging datasets, we provide extensive comparisons with both existing work and simpler alternative methods. In all, the proposed Click Carving approach strikes an excellent balance of accuracy and human effort. It outperforms all similarly fast methods, and is competitive or better than those requiring 2 to 12 times the effort.

연구 동기 및 목표

• 사용자가 그린 마스크에서 최소한의 점 클릭으로 전환함으로써 상호작용 영상 객체 분할의 인간 애너테이션 노력 감소
• 사용자 피드백 이전에 시스템이 능동적으로 객체 영역 후보를 생성하고 보정함으로써 분할 정확도 향상
• 경계 클릭이 분할 보정을 안내하는 데 있어 내부 클릭보다 더 효과적인지 조사
• 기존의 상호작용 분할 파이프라인과 비교하여 클릭 기반 인터페이스의 효율성과 정확도 평가

제안 방법

• 영상 프레임마다 이미지 일관성과 운동 경계 신호를 활용하여 수천 개의 객체 영역 후보를 사전에 계산
• 사용자는 상위 순위의 후보에서 객체 경계에 클릭하여 잘못된 가설을 '자르기' (carving) 함
• 각 클릭은 후보 집합을 동적으로 재순위 정렬하여 사용자 피드백에 기반한 가장 타당한 후보에 집중
• 최종 선택된 마스크는 기존의 전파 알고리즘을 사용하여 영상 전반에 걸쳐 전파되어 완전한 시공간적 객체 튜브 생성
• 상호작용 효율성을 분석하고 최적화하기 위해 시뮬레이션된 사용자 모델을 사용
• 중복된 사용자 입력을 최소화하면서도 분할 품질을 극대화하기 위해 일회성 프레임 선택 전략(예: 매 100번째 프레임)을 적용

실험 결과

연구 질문

• RQ1 영상 분할에서 객체 후보를 보정하는 데 있어 경계 클릭이 내부 클릭보다 더 효과적인가?
• RQ2 시스템 주도의 가설 생성 접근 방식이 인간의 애너테이션 노력 감소와 함께 분할 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 정확도와 시간 효율성 측면에서 클릭 카빙의 성능은 반복적이고 다중 프레임 애너테이션 방법과 비교해 어떻게 되는가?
• RQ4 최소한의 사용자 입력으로 고품질 분할을 달성하기 위해 최적의 클릭 수와 배치는 무엇인가?
• RQ5 클릭 기반 인터페이스는 전통적인 경계상자 또는 스크래치 기반 방법보다 속도와 정확도 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• iVideoSeg 데이터셋에서 클릭 카빙는 평균 54.35초의 사용자 애너테이션 시간으로 평균 77.68의 교차율(Intersection over Union, IoU)을 달성하며, 기존 최신 기술 수준의 방법 [15]보다 정확도는 뛰어나면서도 애너테이션 시간을 반으로 줄였다.
• iVideoSeg 데이터셋에서 클릭 카빙는 정확도와 효율성 측면에서 [1]과 [43]을 상당한 격차로 앞서며 성능을 뛰어나게 하였다.
• 단 한 개의 추가 클릭으로도 클릭 카빙는 세 가지 테스트 영상 전반에서 터치컷 [18]보다 성능을 향상시켰으며, 픽셀 오차를 평균 230.3에서 198.0으로 감소시켰다.
• 시뮬레이션된 사용자 연구를 통해 경계 클릭이 좋은 후보와 나쁜 후보를 구분하는 데 내부 클릭보다 훨씬 더 효과적임을 확인하였다.
• 클릭 카빙는 평균 영상당 2~4개의 클릭만으로도 고품질 분할을 달성하여 뛰어난 효율성을 보였다.
• 2배에서 12배 이상의 인간 노력이 필요한 기존 방법들과 비교해도 클릭 카빙는 경쟁력 있거나 더 우수한 성능을 보였으며, 속도와 정확도의 새로운 균형을 확립하였다.