[논문 리뷰] Predicting Deeper into the Future of Semantic Segmentation

Pauline Luc, Natalia Neverova외 3명|arXiv (Cornell University)|2017. 03. 22.

Advanced Neural Network Applications참고 문헌 46인용 수 37

한 줄 요약

이 논문은 자동재귀 합성곱 신경망을 사용하여 최대 0.5초 앞선 미래의 의미적 세그멘테이션 맵을 예측하는 새로운 과제를 제안한다. 원시 RGB 픽셀 대신 고수준의 시나리오 동역학을 직접 모델링함으로써, 장기 예측 정확도가 크게 향상되었으며, 오라클 모델의 평균 IoU의 66%에 도달하였다. 이는 RGB 예측 후 세그멘테이션 및 광학 흐름 워핑 기반의 베이스라인을 능가한다.

ABSTRACT

The ability to predict and therefore to anticipate the future is an important attribute of intelligence. It is also of utmost importance in real-time systems, e.g. in robotics or autonomous driving, which depend on visual scene understanding for decision making. While prediction of the raw RGB pixel values in future video frames has been studied in previous work, here we introduce the novel task of predicting semantic segmentations of future frames. Given a sequence of video frames, our goal is to predict segmentation maps of not yet observed video frames that lie up to a second or further in the future. We develop an autoregressive convolutional neural network that learns to iteratively generate multiple frames. Our results on the Cityscapes dataset show that directly predicting future segmentations is substantially better than predicting and then segmenting future RGB frames. Prediction results up to half a second in the future are visually convincing and are much more accurate than those of a baseline based on warping semantic segmentations using optical flow.

연구 동기 및 목표

• 자율 주행 시스템에서 장기적인 시각 예측 과제를 해결하기 위해 미래 영상 프레임의 의미적 세그멘테이션을 예측하고자 한다.
• 원시 RGB 프레임을 예측한 후 세그멘테이션을 적용하는 것보다 의미 수준의 동역학을 모델링하는 것이 더 효과적인지 조사하고자 한다.
• 정적 이미지 세그멘테이션과 미래 예측을 분리하는 확장성 있고 일반적인 프레임워크를 개발하여, 고비용의 정밀한 동영상 애너테이션에 대한 의존도를 줄이고자 한다.
• 특히 가림과 빠른 운동 상황에서의 오라클 모델링의 한계를 평가하고, 장기적인 의미 예측에 대해 자기재귀 모델링의 성능을 평가하고자 한다.
• 새로운 도메인에 대해 미세조정 없이도 모델의 교차 데이터셋 일반화 능력을 평가하고자 한다.

제안 방법

• 자기재귀 합성곱 신경망이 과거 영상 프레임의 시퀀스에서 점진적으로 미래 세그멘테이션 맵을 생성하도록 훈련된다.
• 모델은 다중 척도의 맥락과 장거리 의존성을 포착하기 위해 확장된 합성곱을 사용한 U-Net 유사 인코더-디코더 아키텍처를 사용한다.
• 예측된 세그멘테이션 맵에 대해 L1 손실과 교차 엔트로피 손실의 조합을 사용하여 훈련하며, 시각적 품질 향상을 위해 적대적 미세조정을 적용한다.
• 입력 프레임은 RGB 이미지 또는 사전 계산된 의미적 세그멘테이션일 수 있으며, 다양한 입력-타겟 조합에 대해 모델을 평가한다.
• 장기 예측을 위해 모델은 단계적으로 예측을 생성하며, 이후 단계의 입력으로 자신의 이전 예측 결과를 사용한다.
• 평가에는 17장의 프레임(약 1초) 간격을 사용하며, 예측 범위를 최대 10초까지 확장한다.

실험 결과

연구 질문

• RQ1 직접적인 미래 의미적 세그멘테이션 예측이 원시 RGB 프레임을 먼저 예측한 후 세그멘테이션 모델을 적용하는 간접적 방법보다 우월한가?
• RQ2 자기재귀적 의미 예측의 성능은 0.5초에서 10초에 이르는 장기 예측 시간에 걸쳐 어떻게 저하되는가?
• RQ3 Cityscapes에서 훈련된 모델이 미세조정 없이 다른 데이터셋(CamVid)으로 일반화되는 정도는 어느 정도인가?
• RQ4 RGB, 세그멘테이션, 또는 둘 다의 다른 입력 모odalities는 미래 예측의 품질과 안정성에 어떤 영향을 미치는가?
• RQ5 적대적 훈련은 예측된 세그멘테이션 맵의 현실성과 윤곽 정확도를 향상시키는가?

주요 결과

• 자기재귀 모델은 Cityscapes 데이터셋에서 0.5초 앞선 미래 예측 시 오라클 세그멘테이션 모델 성능의 평균 IoU의 66%를 달성하였다.
• 직접적인 의미 수준의 예측이 원시 RGB 프레임 예측 후 세그멘테이션 적용 기반의 베이스라인보다 우수하며, 특히 장기 예측에서 두드러진다.
• 광학 흐름 기반의 워핑 방법은 가려진 또는 새로 나타나는 물체(예: 다가오는 차량의 뒷편)에 대해 신뢰할 수 있는 흐름 추정이 불가능하여 실패한다.
• 적대적 미세조정은 움직이는 차량과 보행자가 있는 복잡한 장면에서 윤곽 정확도와 시각적 현실감을 향상시킨다.
• 미세조정 없이도 모델은 CamVid로의 일반화가 상당히 잘 이루어져 중기 예측(1~2초 앞선 예측)에서 IoU 46.8%를 달성하였으며, 오라클 모델의 55.4%에 근접하였다.
• 장기 자기재귀 예측에서 2초가 넘게 예측할수록 성능이 급격히 저하되며, 모델은 객체 클래스를 평균화하여 흐릿한 평균 미래 상태로 수렴하는 경향이 있다.