[논문 리뷰] Blazingly Fast Video Object Segmentation with Pixel-Wise Metric Learning

Yuhua Chen, Jordi Pont-Tuset외 2명|arXiv (Cornell University)|2018. 04. 09.

Visual Attention and Saliency Detection참고 문헌 38인용 수 17

한 줄 요약

이 논문은 수정된 트리플릿 손실을 사용해 풀 컨volution 네트워크를 훈련시켜 픽셀 단위의 거리 측정 학습을 통해 초고속 비디오 객체 분할 방법을 제안한다. 같은 객체의 픽셀을 학습된 공간에서 가까이 배치하고, 다른 픽셀은 최근접 이웃 검색을 통해 분류함으로써, 반감독 설정에서는 프레임당 275ms로 최신 기술을 초월하는 정확도를 달성하며, 인터랙티브 환경에서는 프레임당 평균 0.15회의 클릭으로 유사한 성능을 달성한다.

ABSTRACT

This paper tackles the problem of video object segmentation, given some user annotation which indicates the object of interest. The problem is formulated as pixel-wise retrieval in a learned embedding space: we embed pixels of the same object instance into the vicinity of each other, using a fully convolutional network trained by a modified triplet loss as the embedding model. Then the annotated pixels are set as reference and the rest of the pixels are classified using a nearest-neighbor approach. The proposed method supports different kinds of user input such as segmentation mask in the first frame (semi-supervised scenario), or a sparse set of clicked points (interactive scenario). In the semi-supervised scenario, we achieve results competitive with the state of the art but at a fraction of computation cost (275 milliseconds per frame). In the interactive scenario where the user is able to refine their input iteratively, the proposed method provides instant response to each input, and reaches comparable quality to competing methods with much less interaction.

연구 동기 및 목표

• 인터랙티브 및 실생활 응용 분야에서 실시간으로 정확한 비디오 객체 분할이 부족한 문제를 해결한다.
• 기존 최신 기술 방법들이 종종 프레임당 수초가 걸릴 정도로 높은 계산 비용을 초래하는 문제를 해결한다.
• 사용자가 최소한의 입력으로 반복적으로 결과를 개선할 수 있도록 효율적인 인터랙티브 분할을 가능하게 한다.
• 재학습 없이도 클릭, 스크래치, 마스크 등 다양한 사용자 입력을 지원하는 통합 프레임워크를 개발한다.
• 픽셀 단위의 검색을 위한 학습된 임bedding 공간을 활용해 최소한의 사용자 상호작용으로 높은 정확도를 달성한다.

제안 방법

• 비디오 픽셀을 메트릭 임베딩 공간으로 매핑하기 위해 수정된 트리플릿 손실을 특화한 풀 컨볼루션 네트워크(FCN)를 훈련시킨다.
• 비디오 객체 분할을 픽셀 단위의 검색으로 공식화한다: 레이블링된 픽셀을 기준점으로 삼고, 나머지 모든 픽셀은 임베딩 공간 내에서 최근접 이웃 검색을 통해 분류한다.
• 임베딩 계산을 사용자 입력에서 분리하여, 여러 사용자 상호작용 동안 사전에 계산된 임베딩를 재사용할 수 있도록 한다.
• 클릭, 마스크, 스크래치 등 다양한 사용자 입력을 하나의 통합 추론 파이프라인 내에서 지원한다.
• 로봇 시뮬레이션 사용자 연구를 통해 인터랙티브 성능을 평가하고, 잘못 분류된 픽셀 기반으로 반복적인 개선을 수행한다.
• 각 객체를 임베딩 공간 내 별도의 기준 클러스터로 간주함으로써 다중 객체 시나리오로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 거리 측정 학습 기반 접근법이 실시간 성능를 유지하면서도 비디오 객체 분할에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 학습된 임베딩 공간 내에서 픽셀 단위의 검색이 반감독 및 인터랙티브 비디오 분할에 얼마나 효과적인가?
• RQ3 분할 정확도를 훼손하지 않으면서 사용자 상호작용을 얼마나 줄일 수 있는가?
• RQ4 특히 정답 가이던스가 없는 상황에서 사용자가 제공한 클릭의 선택에 대해 이 방법이 얼마나 강인한가?
• RQ5 복잡한 상호작용과 가림 현상이 있는 다중 객체 비디오에 대해 효과적으로 일반화할 수 있는가?

주요 결과

• 반감독 설정에서 DAVIS 2016에서 프레임당 275ms로 77.5% J&F를 달성하며, 속도-정확도 트레이드오프에서 다른 빠른 방법들을 능가한다.
• 인터랙티브 시나리오에서 전체 비디오에 걸쳐 10회의 클릭으로 74.5% J&F를 달성하여 사용자 상호작용의 높은 효율성을 보여준다.
• 프레임당 평균 0.15회의 클릭으로 J 점수 75.5%를 기록하며, 전체 마스크 첫 프레임 레이블링 성능과 유사하지만 사용자 노력은 극도로 줄였다.
• 실사용자 연구에서 평균 프레임당 0.17회의 클릭으로 77.7% J 점수를 달성했으며, 전체 마스크 레이블링에 3분 이상 소요되는 데 비해 약 24초 만에 분할을 완료했다.
• 다중 객체 비디오로의 일반화 성능도 뛰어나 DAVIS 2017에서 프레임당 평균 0.5회의 클릭으로 경쟁적인 결과를 내며 기준 방법들보다 훨씬 높은 효율성을 보였다.
• 반복 시뮬레이션에서 성능 변동이 미미함(1회 클릭 시 표준편차 0.1)을 보여, 클릭 포인트 선택에 대해 강인함을 입증했다.