[논문 리뷰] Future Semantic Segmentation with Convolutional LSTM

Seyed shahabeddin Nabavi, Mrigank Rochan외 2명|arXiv (Cornell University)|2018. 07. 20.

Video Surveillance and Tracking Methods참고 문헌 17인용 수 31

한 줄 요약

이 논문은 관측된 프레임에서의 시공간 인코딩을 활용하여 미래의 세분화 맵을 예측하기 위해 ConvLSTM 기반 모델을 제안한다. Cityscapes 데이터셋에서 최신 기술(SOTA)을 초월하며, 비디오의 양방향 ConvLSTM를 사용할 경우 71.37 mIoU를 기록하여 광범위한 광학 흐름 감독 없이도 뛰어난 성능을 보였다.

ABSTRACT

We consider the problem of predicting semantic segmentation of future frames in a video. Given several observed frames in a video, our goal is to predict the semantic segmentation map of future frames that are not yet observed. A reliable solution to this problem is useful in many applications that require real-time decision making, such as autonomous driving. We propose a novel model that uses convolutional LSTM (ConvLSTM) to encode the spatiotemporal information of observed frames for future prediction. We also extend our model to use bidirectional ConvLSTM to capture temporal information in both directions. Our proposed approach outperforms other state-of-the-art methods on the benchmark dataset.

연구 동기 및 목표

• 관측된 프레임들로부터 미래 비디오 프레임의 세분화 맵을 예측하는 문제에 대응하기 위해.
• 더 효과적으로 시공간적 종속성을 포착함으로써 미래 세분화 맵 예측의 시간적 모델링을 향상시키기 위해.
• 오차가 발생하기 쉬우며 추가 애너테이션을 필요로 하는 광학 흐름 추정에 의존하지 않기 위해.
• 향상된 미래 예측 성능을 위해 양방향 시간 모델링을 탐색하기 위해.
• 엔드 투 엔드 학습 가능한 ConvLSTM 모듈을 사용하여 미래 세분화 맵 예측의 새로운 최신 기술(SOTA) 기반선을 설정하기 위해.

제안 방법

• 다수의 관측된 세분화 마스크(S_{t-3}에서 S_t까지)에서 시공간 특징을 인코딩하기 위해 ConvLSTM를 사용한다.
• 백본 네트워크(Res101-FCN 또는 PSPNet)에서 추출된 특징 맵 위에 ConvLSTM 레이어를 스택하여 다중 수준의 특징 학습을 적용한다.
• 현재 프레임 기준 과거 및 미래 양 방향의 시간적 맥락을 포착하기 위해 양방향 ConvLSTM를 도입한다.
• 특징 맵의 차원을 일치시키기 위해 1×1 합성곱과 업샘플링을 사용하여 연결 및 처리 전에 정렬한다.
• 다음으로 관측되지 않은 프레임(S_{t+1} 또는 S_{t+3})의 세분화 마스크를 예측하기 위해 모델을 엔드 투 엔드로 훈련한다.
• 클래스 불균형 보정을 적용한 교차 엔트로피 손실을 사용하여 세분화 예측을 최적화한다.

실험 결과

연구 질문

• RQ1 관측된 비디오 프레임에서 ConvLSTM가 미래 세분화 맵 예측을 위해 시공간 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 일방향 모델링에 비해 양방향 ConvLSTM가 미래 세분화 맵 예측 성능을 향상시키는가?
• RQ3 광학 흐름 감독 없이도 기존 최신 기술(SOTA) 방법을 초월할 수 있는가?
• RQ4 복사 전 프레임 또는 진짜 광학 흐름을 사용하는 기준 모델에 비해 제안된 방법은 어떻게 비교되는가?
• RQ5 더 깊은 특징 인코더(PSPNet 등)를 사용할 경우 간단한 인코더(예: Res101-FCN)를 사용할 경우에 비해 성능 향상은 얼마나 되는가?

주요 결과

• 양방향 ConvLSTM를 사용한 제안된 모델은 PSPNet 기반으로 도시 스케일즈 검증 세트에서 한 스텝 향후 예측에 대해 71.37 mIoU를 기록하여 이전의 최신 기술(SOTA) 방법을 초월하였다.
• 광학 흐름이 없음에도 불구하고, EpicFlow-감독 광학 흐름을 사용하는 Jin 등(2017b)의 방법(66.10 mIoU)을 뛰어넘었다.
• 제거 실험 결과, ConvLSTM 레이어를 제거하면 성능이 60.80 mIoU(Res101-FCN 기반) 및 67.42 mIoU(PSPNet 기반)로 떨어지며, 이는 ConvLSTM 레이어의 핵심적 역할을 입증한다.
• 양방향 ConvLSTM를 추가함으로써 일방향 ConvLSTM 대비 약 5% 향상된 성능을 기록하여 향상된 시간 모델링이 가능함을 시사한다.
• 세 스텝 향후 예측의 경우, 양방향 ConvLSTM 모델은 60.06 mIoU를 기록하여 기준 모델(53.70 mIoU)과 S2S(59.40 mIoU)를 크게 앞서며 뛰어난 성능을 보였다.
• 정성적 결과에서는 특히 이동 중인 차량과 보행자와 같은 복잡한 시나리오에서 실제 마스크에 더 가까운 세분화 마스크를 생성하는 것으로 나타났다.