[논문 리뷰] Spatiotemporal CNN for Video Object Segmentation

Kai Xu, Longyin Wen외 3명|arXiv (Cornell University)|2019. 04. 04.

Advanced Neural Network Applications참고 문헌 49인용 수 6

한 줄 요약

이 논문은 비정상적인 영상에서 운동과 외관 특징을 포착하기 위해 레이블이 없는 영상에서 적대적으로 사전학습된 시간적 일관성 브랜치와 다중 척도 특징에서 코arse-to-fine 주의 메커니즘을 사용하는 공간 분할 브랜치를 조합한 통합형 엔드 투 엔드 학습 가능한 시공간 컨볼루션 신경망 STCNN을 제안한다. 이 방법은 DAVIS-2016에서 0.838 mIoU, Youtube-Object에서 0.796 mIoU를 기록하며 최신 기술 수준을 달성하였으며, 특히 빠르게 움직이는 물체나 비정형 물체에서 광학 흐름 기반 및 슈퍼바oxel 방법보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we present a unified, end-to-end trainable spatiotemporal CNN model for VOS, which consists of two branches, i.e., the temporal coherence branch and the spatial segmentation branch. Specifically, the temporal coherence branch pretrained in an adversarial fashion from unlabeled video data, is designed to capture the dynamic appearance and motion cues of video sequences to guide object segmentation. The spatial segmentation branch focuses on segmenting objects accurately based on the learned appearance and motion cues. To obtain accurate segmentation results, we design a coarse-to-fine process to sequentially apply a designed attention module on multi-scale feature maps, and concatenate them to produce the final prediction. In this way, the spatial segmentation branch is enforced to gradually concentrate on object regions. These two branches are jointly fine-tuned on video segmentation sequences in an end-to-end manner. Several experiments are carried out on three challenging datasets (i.e., DAVIS-2016, DAVIS-2017 and Youtube-Object) to show that our method achieves favorable performance against the state-of-the-arts. Code is available at https://github.com/longyin880815/STCNN.

연구 동기 및 목표

• 광학 흐름 애너테이션에 의존하지 않고, 반독립형, 엔드 투 엔드 학습 가능한 딥 러닝 모델을 개발하는 것.
• 레이블이 없는 영상 데이터에서 동적 외관 및 운동 특징을 학습하여 시간적 일관성과 분할 정확도를 향상시키는 것.
• 다중 척도 특징 맵에서 점진적으로 예측을 정밀화하는 코어스-투-파인 주의 메커니즘을 통해 공간 정밀도를 향상시키는 것.
• DAVIS-2016, DAVIS-2017, 그리고 Youtube-Object와 같은 도전적인 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.
• 광학 흐름 추정이 실패하는 빠르게 움직이는 물체나 비정형 물체에서의 강건성을 입증하는 것.

제안 방법

• 모델는 두 가지 브랜치로 구성되며, 레이블이 없는 영상 데이터에서 적대적으로 사전학습된 시간적 일관성 브랜치로 운동 및 외관 동적 특징을 학습한다.
• 공간 분할 브랜치는 시간 브랜치의 정보를 활용하여 정확한 분할 마스크를 생성하는 완전 컨볼루션 신경망이다.
• 다중 척도 특징 맵을 통해 순차적으로 코어스-투-파인 주의 메커니즘이 적용되어 객체 영역에 점차적으로 집중하고 예측을 정밀화한다.
• 주의 모듈은 다양한 척도에서 관련 있는 공간 영역을 강조하여 특징 표현을 향상시키도록 설계되어 있다.
• 두 브랜치는 애너테이션된 학습 시퀀스에서 함께 엔드 투 엔드로 미세조정되어 분할 성능을 최적화한다.
• 모든 컨볼루션 레이어 이후 배치 정규화와 ReLU 활성화 함수를 사용하여 학습을 안정화시킨다.

실험 결과

연구 질문

• RQ1 광학 흐름 애너테이션을 필요로 하지 않고도 통합형 엔드 투 엔드 학습 가능한 컨볼루션 신경망이 뛰어난 영상 객체 분할 성능을 달성할 수 있는가?
• RQ2 레이블이 없는 영상 데이터에서의 적대적 사전학습이 분할 가이던스를 위한 동적 외관 및 운동 특징을 효과적으로 포착할 수 있는가?
• RQ3 다중 척도 특징에 대한 코어스-투-파인 주의 메커니즘이 비정형 또는 빠르게 움직이는 물체에 대해 분할 정확도를 향상시키는가?
• RQ4 복잡한 상황(예: 가림, 외관 변화)이 있는 벤치마크에서 제안된 방법은 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 DAVIS-2016, DAVIS-2017, 그리고 Youtube-Object와 같은 다양한 데이터셋에서 모델이 잘 일반화되는가?

주요 결과

• DAVIS-2016 데이터셋에서 STCNN는 평균 교차율(mIoU) 0.838을 기록하여 새로운 최신 기술 수준의 성능를 달성하였다.
• Youtube-Object 데이터셋에서 이 방법은 0.796 mIoU를 기록하였으며, 이는 이전 최신 기술 수준의 방법인 MRFCNN(0.784 mIoU)을 0.012 mIoU 뛰어넘었다.
• 자동차나 고양이와 같은 빠르게 움직이는 물체에서 광학 흐름 기반 방법(OFL 및 MSK)보다 성능이 뛰어나, 흐름 추정이 정확하지 않은 경우에도 우수한 성능를 보였다.
• DAVIS-2017에서 STCNN는 평균 영역 유사도(J) 58.7%와 윤곽 정확도(F) 64.6%를 기록하여 OSVOS 및 FAVOS와 같은 방법들을 능가하였다.
• 정성적 결과에서는 코어스-투-파인 주의 정밀화 과정 덕분에 고양이나 말과 같은 비정형 물체의 경계 정확도가 향상된 것으로 나타났다.
• 제거 실험 결과는 레이블이 없는 데이터에서의 적대적 사전학습과 다중 척도 주의 메커니즘이 성능 향상에 크게 기여한다는 것을 확인하였다.