[논문 리뷰] STFCN: Spatio-Temporal FCN for Semantic Video Segmentation

Mohsen Fayyaz, Mohammad Hajizadeh Saffar외 4명|arXiv (Cornell University)|2016. 08. 21.

Advanced Neural Network Applications참고 문헌 52인용 수 47

한 줄 요약

이 논문은 STFCN을 제안하며, CNN의 공간적 특징과 LSTM 기반 모듈을 통한 시간적 동적 특징을 통합함으로써 정성적 영상 분할 성능을 향상시키는 공간-시간 완전 컨volution 네트워크이다. 이 방법은 공간-시간 특징의 엔드 투 엔드 학습을 가능하게 하여 CamVid와 NYUDv2에서 최신 기준 성능을 달성하였으며, 기준 FCN 및 확장 컨볼루션 네트워크를 능가하는 픽셀 수준의 분할 정확도 향상을 이룩하였다.

ABSTRACT

This paper presents a novel method to involve both spatial and temporal features for semantic video segmentation. Current work on convolutional neural networks(CNNs) has shown that CNNs provide advanced spatial features supporting a very good performance of solutions for both image and video analysis, especially for the semantic segmentation task. We investigate how involving temporal features also has a good effect on segmenting video data. We propose a module based on a long short-term memory (LSTM) architecture of a recurrent neural network for interpreting the temporal characteristics of video frames over time. Our system takes as input frames of a video and produces a correspondingly-sized output; for segmenting the video our method combines the use of three components: First, the regional spatial features of frames are extracted using a CNN; then, using LSTM the temporal features are added; finally, by deconvolving the spatio-temporal features we produce pixel-wise predictions. Our key insight is to build spatio-temporal convolutional networks (spatio-temporal CNNs) that have an end-to-end architecture for semantic video segmentation. We adapted fully some known convolutional network architectures (such as FCN-AlexNet and FCN-VGG16), and dilated convolution into our spatio-temporal CNNs. Our spatio-temporal CNNs achieve state-of-the-art semantic segmentation, as demonstrated for the Camvid and NYUDv2 datasets.

연구 동기 및 목표

• 영상 시퀀스에서 공간적 및 시간적 특징을 함께 모델링하여 정성적 영상 분할 성능을 향상시키는 것.
• 기존의 CNN 기반 방법들이 영상 프레임을 상호 독립적으로 다루며 시간적 맥락을 忽略하는 한계를 해결하는 것.
• 기존의 완전 컨볼루션 네트워크(FCNs)에 쉽게 통합할 수 있는 모듈식이며 엔드 투 엔드 학습 가능한 아키텍처를 개발하는 것.
• 다양한 데이터셋, 특히 외부(예: CamVid) 및 실내(예: NYUDv2) 환경에서 제안된 공간-시간 모듈의 효과를 평가하는 것.
• LSTM 기반 시간 모델링을 통합함으로써 아키텍처의 주요 변경 없이도 분할 정확도 향상이 가능함을 입증하는 것.

제안 방법

• 각 영상 프레임에서 공간적 특징을 추출하기 위해 사전 학습된 CNN(예: FCN-AlexNet 또는 FCN-VGG16)을 사용한다.
• 공간적 특징 추출 후에 시간적 의존성을 모델링하기 위해 LSTM 기반 모듈을 삽입한다.
• 공간-시간 특징은 이후 디컨볼루션 레이어를 통해 원본 해상도에서 픽셀 수준의 분할 예측으로 업샘플링된다.
• 공간적 및 시간적 일관성을 유지하는 완전 컨볼루션형, 미분 가능한 아키텍처를 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 고해상도 특징 맵을 유지하고 다중 척도 맥락을 포착하기 위해 배경 네트워크에 확장 컨볼루션을 통합한다.
• 공간-시간 모듈은 플러그인 구성 요소로 설계되어 기존의 FCN 프레임워크에 최소한의 수정으로 통합 가능하다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모듈을 통한 시간 모델링이 정적 프레임 분석을 넘어서 영상 분할 성능 향상에 기여하는가?
• RQ2 공간-시간 특징의 통합이 표준 벤치마크에서 픽셀 수준의 분할 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 STFCN 모듈이 FCN-AlexNet 및 FCN-VGG16와 같은 다양한 백본 아키텍처에 얼마나 일반화되어 적용될 수 있는가?
• RQ4 시간적 맥락의 통합이 유사한 공간적 특징을 가졌지만 운동 또는 행동이 다른 객체의 분류에 혼동을 줄 수 있는가?
• RQ5 외부 및 실내 데이터셋에서 STFCN의 성능이 확장 FCN 및 표준 FCN-32s와 같은 최신 기준 방법보다 어떻게 비교되는가?

주요 결과

• CamVid 데이터셋에서 STFCN는 최신 기준 성능을 달성하였으며, 기준 FCN 및 확장 FCN 모델보다 뚜렷한 향상을 보였다.
• NYUDv2에서 STFCN-32s RGB 모델은 60.9% 픽셀 정확도, 42.3% 평균 정확도, 29.5% 평균 IU를 기록하여 기준 FCN-32s RGB(60.0%, 42.2%, 29.2%)를 능가하였다.
• STFCN-32s RGBD 모델은 62.1% 픽셀 정확도, 42.6% 평균 정확도, 30.9% 평균 IU를 기록하여 기준 FCN-32s RGBD(61.5%, 42.4%, 30.5%)를 초월하였다.
• 두 데이터셋 모두에서 성능 향상이 일관되게 관찰되어 시간 모델링이 분할의 모호성을 줄이는 데 효과적임을 확인하였다.
• 결과는 LSTM 기반 시간 모델링이 특히 유사한 공간 패턴을 가진 복잡한 환경에서 특징 표현을 향상시킨다는 것을 시사한다.
• 모듈식 설계 덕분에 기존의 FCN 프레임워크에 원활하게 통합될 수 있으며, 아키텍처의 대대적 개선 없이도 성능 향상을 이룰 수 있다.