[논문 리뷰] Efficient Video Object Segmentation via Network Modulation

Linjie Yang, Yanran Wang외 3명|arXiv (Cornell University)|2018. 02. 04.

Visual Attention and Saliency Detection참고 문헌 27인용 수 40

한 줄 요약

제안된 네트워크 모듈레이션 프레임워크는 시각 모듈레이션과 공간 모듈레이션을 통해 세그먼테이션 네트워크를 대상 객체에 한 번의 순전파로 적응시키며, 70x 속도 향상으로 거의 원샷 파인튜닝 정확도에 근접합니다.

ABSTRACT

Video object segmentation targets at segmenting a specific object throughout a video sequence, given only an annotated first frame. Recent deep learning based approaches find it effective by fine-tuning a general-purpose segmentation model on the annotated frame using hundreds of iterations of gradient descent. Despite the high accuracy these methods achieve, the fine-tuning process is inefficient and fail to meet the requirements of real world applications. We propose a novel approach that uses a single forward pass to adapt the segmentation model to the appearance of a specific object. Specifically, a second meta neural network named modulator is learned to manipulate the intermediate layers of the segmentation network given limited visual and spatial information of the target object. The experiments show that our approach is 70times faster than fine-tuning approaches while achieving similar accuracy.

연구 동기 및 목표

• 원샷 설정에서 반지도 비디오 객체 세분화에 대한 온라인 파인튜닝의 비효율성을 동기 부여하고 해결한다.
• 제한된 첫 프레임 단서를 사용해 기본 세그멘테이션 네트워크를 특정 객체에 즉시 적응시키는 메타러너(모듈레이터)를 개발한다.
• 네트워크 모듈레이션을 안내하기 위해 시각적 외관과 공간 사전 정보를 활용하여 프레임 간 트래킹의 강건성을 확보한다.
• 모듈레이션 기반 적응이 파인튜닝 방식에 비해 상당한 속도 향상과 함께 경쟁력 있는 정확도를 달성함을 보여준다.]
• method:["두 가지 모듈레이터를 도입한다: 각 채널의 스케일 매개변수를 출력하는 시각 모듈레이터와 공간 사전 히트맵을 이용해 픽셀 단위 바이어스를 출력하는 공간 모듈레이터.","대부분의 합성곱 층 이후에 y_c = gamma_c * x_c + beta_c인 모듈레이션 층을 사용하고, gamma는 시각 모듈레이터에서, beta는 공간 모듈레이터에서 얻는다.","시각 모듈레이터는 주석이 달린 객체 이미지(시각 가이드)를 변경된 VGG16을 통해 처리하여 모듈레이션 매개변수를 생성한다.","공간 모듈레이터는 이전 프레임 마스크로 인코딩된 사전 위치를 가우시안 히트맵으로 받아 피처 맵 해상도에 맞게 다운샘플링하고 바이어스를 생성한다.","시스템을 시각+공간 단서를 가진 두 입력 설정으로 MS-COCO에서 엔드 투 엔드로 학습하고 원하면 비디오 데이터에서 파인튜닝한다; 균형 잡힌 교차 엔트로피 손실을 사용한다.","처음 네 개의 합성곱 층을 제외한 모든 합성곱 층 뒤에 모듈레이션 층이 위치한 완전 합성곱(main) 세그먼테이션 네트워크를 유지한다(하이퍼컬럼 특성 기반의 VGG16-계열).

제안 방법

• 두 가지 모듈레이터를 도입한다: 각 채널의 스케일 매개변수를 출력하는 시각 모듈레이터와 공간 사전 히트맵을 이용해 픽셀 단위 바이어스를 출력하는 공간 모듈레이터.
• 대부분의 합성곱 층 이후에 y_c = gamma_c * x_c + beta_c인 모듈레이션 층을 사용하고, gamma는 시각 모듈레이터에서, beta는 공간 모듈레이터에서 얻는다.
• 시각 모듈레이터는 주석이 달린 객체 이미지(시각 가이드)를 변경된 VGG16을 통해 처리하여 모듈레이션 매개변수를 생성한다.
• 공간 모듈레이터는 이전 프레임 마스크로 인코딩된 사전 위치를 가우시안 히트맵으로 받아 피처 맵 해상도에 맞게 다운샘플링하고 바이어스를 생성한다.
• 시스템을 시각+공간 단서를 가진 두 입력 설정으로 MS-COCO에서 엔드 투 엔드로 학습하고 원하면 비디오 데이터에서 파인튜닝한다; 균형 잡힌 교차 엔트로피 손실을 사용한다.
• 처음 네 개의 합성곱 층을 제외한 모든 합성곱 층 뒤에 모듈레이션 층이 위치한 완전 합성곱(main) 세그먼테이션 네트워크를 유지한다(하이퍼컬럼 특성 기반의 VGG16-계열).

실험 결과

연구 질문

• RQ1 보조 메타 네트워크가 반복적인 파인튜닝 없이 특정 객체에 대해 세그먼테이션 모델을 즉시 적응시키도록 학습할 수 있는가?
• RQ2 시각적 외관 가이드와 공간 사전 정보를 결합하는 것이 여러 유사한 객체와 객체 움직임에 대한 강건성을 향상시키는가?
• RQ3 반지도 비디오 세그먼테이션에서 네트워크 모듈레이션과 전통적 온라인 파인튜닝 간의 성능-속도 트레이드오프는 어떠한가?
• RQ4 모듈레이션 매개변수가 프레임 간 객체 외관과 추적 가능성과 얼마나 잘 상관관계가 있는가?

주요 결과

방법	DAVIS 16 (평균 IU)	YoutubeObjs (평균 IU)	FT 포함	OptFlow	CRF	속도 (초)
Ours (Stage 1)	72.2	66.4	✗	✗	✗	0.14
Ours (Stage 1&2)	74.0	69.0	✗	✗	✗	0.14
Ours	52.5	60.9	✗	✗	✗	-

• 제안된 네트워크 모듈레이션 접근 방식은 온라인 파인튜닝에 비해 약 70배의 속도 향상을 달성하면서 비슷한 정확도를 달성한다.
• DAVIS 2016 및 YoutubeObjects에서 본 방법은 파인튜닝 없이도 기존 비파인튜닝 기준선을 상회하고 파인튜닝 방법과도 경쟁력이 있다.
• DAVIS 2017 결과는 파인튜닝 없이도 MaskTrack-B 및 OSVOS-B 대비 큰 이득을 보이고, 파인튜닝 기준선에 모듈레이션을 적용하면 추가 이득이 있다.
• 시각화 결과 모듀레이션 매개변수는 객체 카테고리에 대해 의미 있는 임베딩을 형성하며, 더 깊은 층에서 매개변수 변동이 더 커진다.
• 공간 사전 바이어스는 초기 층에서 희소하고, 더 깊은 층에서 더 뚜렷해져 공간 cue가 특징에 점진적으로 통합됨을 나타낸다.