[논문 리뷰] Kernelized Memory Network for Video Object Segmentation

Hongje Seong, Junhyuk Hyun외 1명|arXiv (Cornell University)|2020. 07. 16.

Visual Attention and Saliency Detection참고 문헌 52인용 수 11

한 줄 요약

이 논문은 공간-시간 메모리 네트워크(STM)의 비국소적 매칭 편향을 줄이기 위해 가우시안 커널을 도입한 커널화된 메모리 네트워크(KMN)를 제안한다. 정적 이미지에서 Hide-and-Seek 데이터 증강 전략을 사용한 사전 훈련을 통해 차폐에 대한 내성과 경계 정확도를 향상시켜 DAVIS 2017에서 mAP가 5% 향상되었고, 프레임당 0.12초의 추론 속도를 달성하였다.

ABSTRACT

Semi-supervised video object segmentation (VOS) is a task that involves predicting a target object in a video when the ground truth segmentation mask of the target object is given in the first frame. Recently, space-time memory networks (STM) have received significant attention as a promising solution for semi-supervised VOS. However, an important point is overlooked when applying STM to VOS. The solution (STM) is non-local, but the problem (VOS) is predominantly local. To solve the mismatch between STM and VOS, we propose a kernelized memory network (KMN). Before being trained on real videos, our KMN is pre-trained on static images, as in previous works. Unlike in previous works, we use the Hide-and-Seek strategy in pre-training to obtain the best possible results in handling occlusions and segment boundary extraction. The proposed KMN surpasses the state-of-the-art on standard benchmarks by a significant margin (+5% on DAVIS 2017 test-dev set). In addition, the runtime of KMN is 0.12 seconds per frame on the DAVIS 2016 validation set, and the KMN rarely requires extra computation, when compared with STM.

연구 동기 및 목표

• 공간-시간 메모리 네트워크(STM)의 비국소적 성격과 영상 객체 분할(VOS)의 주로 국소적인 성격 간의 불일치를 해결하기 위해.
• 특히 객체 경계에서의 차폐 및 경계 정확도 부족 문제를 개선하기 위해.
• 고속 추론 속도를 유지하면서 준지도 학습 VOS에서 최신 기술 수준의 성능을 달성하는 메모리 네트워크를 개발하기 위해.
• 특히 경계 예측을 정교화하기 위해, Hide-and-Seek을 분할 작업을 위한 사전 훈련 전략으로 활용해보기 위해.

제안 방법

• 질의 및 메모리 특징 간의 매칭을 국소화하기 위해 가우시안 커널을 사용한 커널화된 메모리 읽기 연산을 도입하여 비국소적 매칭 오류를 감소시킨다.
• 차폐를 시뮬레이션하고 더 깔끔하고 정확한 마스크 경계를 생성하기 위해 정적 이미지에서 사전 훈련 중에 Hide-and-Seek 데이터 증강 기법을 활용한다.
• ImageNet 스타일의 정적 이미지에서 Hide-and-Seek를 사용해 사전 훈련하여 비디오 데이터셋에 대한 미세조정 전에 일반화 능력을 향상시킨다.
• 표준 QKV(질의-키-값) 기반 구조를 사용하지만, 국소적 맥락을 우선시하기 위해 공간 제약이 가해진 가우시안 커널을 활용해 상관관계 계산을 수정한다.
• 비디오 프레임에서 추론 시에도 동일한 커널화된 메모리 모듈을 적용하여 빠른 추론 속도를 유지한다.
• 고정된 하이퍼파라미터를 사용해 오프라인 방식으로 모델을 훈련하여, 각 비디오 시퀀스별 온라인 적응이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 커널화된 메모리 메커니즘이 STM 기반 VOS 모델에 내재된 비국소적 매칭 오류를 줄일 수 있는가?
• RQ2 Hide-and-Seek 전략을 사용한 사전 훈련이 영상 분할에서 차폐에 대한 일반화 능력과 경계 정확도 향상에 기여하는가?
• RQ3 커널화된 메모리 네트워크는 온라인 학습 방법과 비교해 낮은 추론 지연을 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 Hide-and-Seek는 사전 훈련 과정에서 마스크 경계 품질을 어느 정도 향상시키는가?

주요 결과

• KMN은 DAVIS 2017 테스트-디브 세트에서 이전 최고 기록 대비 5.0% 절대적인 mAP 향상을 달성하여 88.1% mAP를 기록하였다.
• DAVIS 2016 검증 세트에서 프레임당 0.12초의 속도로 실행되어 온라인 학습 방법보다 뚜렷하게 빠르며, STM와 유사한 속도를 확보하였다.
• 제거 분석 결과, 커널화된 메모리와 Hide-and-Seek 사전 훈련이 성능 향상에 독립적이고 뚜렷한 기여를 한다는 것이 확인되었다.
• 픽셀 수준의 손실 시각화 결과, Hide-and-Seek가 경계 노이즈를 감소시켜 깔끔하고 정확한 마스크 지도를 생성하는 데 효과적이라는 것을 확인하였다.
• 정성적 결과를 통해 차폐, 빠른 변형, 유사 배경 객체 등의 어려운 케이스에서 뛰어난 성능을 보였다.
• 모든 벤치마크에서, DAVIS 2016, DAVIS 2017, YouTube-VOS를 포함해, 시퀀스별 적응이 필요 없이 온라인 학습 방법조차도 압도적으로 뛰어난 성능을 기록하였다.