[논문 리뷰] Instance Embedding Transfer to Unsupervised Video Object Segmentation

Siyang Li, Bryan Seybold외 4명|arXiv (Cornell University)|2018. 01. 03.

Visual Attention and Saliency Detection참고 문헌 35인용 수 14

한 줄 요약

이 논문은 사전에 훈련된 정적 이미지 네트워크에서 유닛 임베딩을 영상으로 전이하여 비지도 영상 객체 분할을 수행하는 새로운 방법을 제안한다. 객체도 및 광학 흐름을 사용해 대표적인 배경 및 전경 임베딩을 선택하며, 미세조정 없이도 DAVIS에서 78.5%의 평균 IoU, FBMS에서 71.9%를 기록하여 유닛 임베딩의 안정성과 영상 프레임 간 전이 가능성에 대한 우수한 성능을 입증한다.

ABSTRACT

We propose a method for unsupervised video object segmentation by transferring the knowledge encapsulated in image-based instance embedding networks. The instance embedding network produces an embedding vector for each pixel that enables identifying all pixels belonging to the same object. Though trained on static images, the instance embeddings are stable over consecutive video frames, which allows us to link objects together over time. Thus, we adapt the instance networks trained on static images to video object segmentation and incorporate the embeddings with objectness and optical flow features, without model retraining or online fine-tuning. The proposed method outperforms state-of-the-art unsupervised segmentation methods in the DAVIS dataset and the FBMS dataset.

연구 동기 및 목표

• 영상에서 전경 객체가 시퀀스 간에 변화하는 경우(예: 한 영상에선 자동차가 전경이고 다른 영상에선 배경인 경우) 비지도 영상 객체 분할 문제를 해결하기 위해.
• 도메인 분리로 인해 다양한 전경 객체에 대해 일반화 능력이 떨어지는 직접적인 전경/배경 분류 네트워크의 한계를 극복하기 위해.
• 영상 전용 애너테이션이나 모델 재학습 없이도 정적 이미지에서 사전 훈련된 유닛 임베딩 네트워크를 활용하여 영상 분할을 수행하기 위해.
• 객체도 및 운동 색출성을 기반으로 한 비모수적이고 온라인 적응형 방법을 개발하여 다양한 영상 콘텐츠에서 강력한 분할 성능을 확보하기 위해.

제안 방법

• 사전에 훈련된 FCN에서 정적 이미지에서 의미 분류와 유닛 수준의 임베딩을 동시에 학습한 네트워크로부터 유닛 임베딩을 전이한다.
• 객체도 점수와 광학 흐름 기반 운동 색출성을 바탕으로 각 프레임에 대해 대표적인 전경 및 배경 임베딩을 선택하여 시드 세트를 구성한다.
• 픽셀은 전경 또는 배경 시드 세트에 가장 가까운 이웃을 임베딩 공간에서 찾는 방식으로 분류되며, 새로운 분류기 학습 없이도 비모수적 분할이 가능하다.
• 매 k 프레임마다 전경 및 배경 시드 세트를 업데이트하여 온라인 적응을 구현함으로써 외관 및 운동 변화에 대한 강건성을 향상시킨다.
• 임베딩 네트워크의 미세조정이나 온라인 적응을 피하며, 오직 시간에 따른 유닛 임베딩의 안정성에 의존한다.
• 준지도 학습 설정에서는 첫 번째 프레임의 진짜 마스크를 사용해 시드 세트를 초기화하고, 밀도 있는 CRF를 통해 결과를 개선한다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 정적 이미지 네트워크에서 유도된 유닛 임베딩이 재학습 없이도 비지도 영상 객체 분할에 효과적으로 전이될 수 있는가?
• RQ2 시간에 따라 변화하는 전경 객체를 가진 영상 프레임 간에 일관된 객체 추적을 가능하게 하는 유닛 임베딩의 시간적 안정성은 어떻게 작용하는가?
• RQ3 감독 신호 없이 대표적인 전경 및 배경 임베딩을 선택하기 위해 가장 효과적인 기준은 무엇인가?
• RQ4 객체도와 운동 색출성을 함께 사용할 경우, 각각을 별도로 사용하는 것보다 시드 선택과 분할 정확도가 어떻게 향상되는가?
• RQ5 온라인으로 시드 세트를 갱신하는 것이 장시간 영상 시퀀스에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 이 방법은 DAVIS 데이터셋에서 78.5%의 평균 IoU, FBMS 데이터셋에서 71.9%를 기록하여, 어떤 미세조정 없이도 이전의 모든 비지도 방법을 능가한다.
• 매 k 프레임마다 온라인 적응을 수행하면 성능 향상이著명하며, 프레임 단위로 적응하는 경우 비적응 초기화 대비 IoU가 7.0% 향상된다.
• 객체도와 운동 색출성을 결합해 시드 순위를 매기면 초기 전경 시드 정확도가 94.6%로 가장 높고, 평균 IoU도 77.5%로 가장 우수하여, 각각의 단일 신호보다 우수한 성능을 보인다.
• 객체도만 사용할 경우 초기 시드 정확도는 88.2%로 낮지만, 최종 IoU는 75.7%로 더 높으며, 운동 색출성만 사용할 경우 정확도는 90.6%, IoU는 74.3%로, 임베딩 공간에서의 오류 패턴이 더 관용적인 경향을 보임을 시사한다.
• 준지도 설정에서는 모델의 미세조정 없이 DAVIS 검증 세트에서 평균 IoU 77.6%를 달성하여, OSVOS 및 SFL을 포함한 여러 이전 방법을 뛰어넘는다.
• 결과는 유닛 임베딩이 시간에 걸쳐 안정적이며, 동일한 객체가 다른 시퀀스에서 전경 또는 배경으로 나타나더라도 영상 분할을 위한 강력한 외관 모델로 활용될 수 있음을 입증한다.