[논문 리뷰] FOMTrace: Interactive Video Segmentation By Image Graphs and Fuzzy Object Models

Thiago V. Spina, Alexandre X. Falcão|arXiv (Cornell University)|2016. 06. 10.

Visual Attention and Saliency Detection참고 문헌 48인용 수 5

한 줄 요약

FOMTrace는 시공간 초분할 그래프와 흐린 객체 모델(FOM)을 결합하여 빠르게 움직이는 변형 가능한 물체의 정확하고 사용자 유도 영상 분할을 가능하게 하는 상호작용 기반 영상 분할 방법이다. 이는 시간에 따라 레이블을 전파하고 FOM을 사용하여 픽셀 그래프에서 경계를 제약함으로써 반복적으로 분할을 정밀화하며, 최소한의 사용자 상호작용으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Common users have changed from mere consumers to active producers of multimedia data content. Video editing plays an important role in this scenario, calling for simple segmentation tools that can handle fast-moving and deformable video objects with possible occlusions, color similarities with the background, among other challenges. We present an interactive video segmentation method, named FOMTrace, which addresses the problem in an effective and efficient way. From a user-provided object mask in a first frame, the method performs semi-automatic video segmentation on a spatiotemporal superpixel-graph, and then estimates a Fuzzy Object Model (FOM), which refines segmentation of the second frame by constraining delineation on a pixel-graph within a region where the object's boundary is expected to be. The user can correct/accept the refined object mask in the second frame, which is then similarly used to improve the spatiotemporal video segmentation of the remaining frames. Both steps are repeated alternately, within interactive response times, until the segmentation refinement of the final frame is accepted by the user. Extensive experiments demonstrate FOMTrace's ability for tracing objects in comparison with state-of-the-art approaches for interactive video segmentation, supervised, and unsupervised object tracking.

연구 동기 및 목표

• 빠르게 움직이고 변형되는 물체에 대해 차폐 및 배경 색상 유사성으로 인한 정확하고 효율적인 영상 분할에 도전하는 것.
• 분할 정확도에 대한 사용자 제어를 유지하면서 사용자 상호작용 시간을 최소화하는 것.
• 프레임 단위로 경계 예측을 정밀화하는 흐린 객체 모델을 통합하여 시공간 분할을 향상시키는 것.
• 사용자 수정과 자동 전파 사이의 피드백 루프를 통해 반복적이고 프레임 단위로 분할을 정밀화하는 것.

제안 방법

• FOMTrace는 입력 영상에서 시공간 초분할 그래프를 구성하여 효율적인 시공간 분할 전파를 가능하게 한다.
• 초기 프레임에서 사용자가 제공한 마스크를 바탕으로 초분할 그래프 상의 이미지 숲 탐색 변환(IFT-SC)을 통해 레이블을 이후 프레임으로 전파한다.
• 예측된 레이블과 이전 프레임의 최종 레이블에서 흐린 객체 모델(FOM)을 추정하여 물체 경계의 불확실성을 표현한다.
• 현재 프레임의 픽셀 그래프에서 예측 레이블과 전파된 레이블의 가중 조합을 사용하여 FOM이 분할 정밀화를 제약한다.
• 사용자 피드백은 수정 또는 수용된 정밀화된 마스크를 허용함으로써 통합되며, 이는 다음 프레임의 분할 입력이 된다.
• 이 과정은 각 단계에서 자동 재전파를 통해 반복적으로 프레임 단위로 진행되며, 운동과 변형을 처리한다.

실험 결과

연구 질문

• RQ1 빠른 운동과 물체 변형에 대해 강건하면서도 사용자 노력 최소화가 가능한 상호작용 기반 영상 분할은 어떻게 달성할 수 있는가?
• RQ2 불확실성 하에서 영상 분할의 경계 분리에 흐린 객체 모델이 얼마나 향상시킬 수 있는가?
• RQ3 FOM과 사용자 피드백을 활용한 반복적 정밀화는 최신 기술 수준의 상호작용 및 추적 기반 분할 방법을 초월할 수 있는가?
• RQ4 시공간 초분할 그래프와 FOM의 통합은 분할 정확도와 효율성을 어떻게 향상시키는가?

주요 결과

• FOMTrace는 최신 기술 수준의 상호작용 영상 분할, 지도 학습 및 비지도 추적 방법과 비교해도 경쟁 가능한 성능을 달성한다.
• FOM을 사용하여 배경과의 색상 유사성이 있는 영역에서의 분할 오류를 효과적으로 줄여, 경계 탐색을 제약한다.
• 사용자 수정 사항이 효율적으로 앞으로 전파되어 프레임 간 일관성을 유지하면서 반복적 정밀화를 가능하게 한다.
• 적응형 임계값을 적용한 가중 FOM(OWt)을 사용함으로써 경계가 약한 영역에서의 분할 성능을 향상시켜 누출을 감소시킨다.
• 실험 결과, 반복적인 자동 전파 및 정밀화에도 불구하고 FOMTrace는 상호작용 반응 시간을 유지한다.
• 이 방법은 유연하고 확장 가능하며, 시간적 초분할 및 계층적 수퍼보셀 단서와의 통합 가능성이 있다.