[논문 리뷰] Predicting Scene Parsing and Motion Dynamics in the Future

Xiaojie Jin, Huaxin Xiao외 7명|arXiv (Cornell University)|2017. 11. 09.

Human Pose and Action Recognition참고 문헌 3인용 수 49

한 줄 요약

이 논문은 미래의 장면 해석과 광학 흐름을 동시에 예측하는 새로운 엔드 투 엔드 딥 러닝 모델을 제안한다. 두 작업 간 상호 보완적 지도 학습을 통해 정확도를 향상시키며, 운동 예측을 통해 해석 세부 정보를 개선하고, 해석 결과를 바탕으로 카테고리별 운동 추정을 유도함으로써, 시티스케이프 데이터셋에서 최신 기술 수준의 성능을 달성한다. 다단계 미래 예측에서 종단 오차(EPE)를 1.79 감소시키고 mIoU를 3.1% 향상시킨다.

ABSTRACT

The ability of predicting the future is important for intelligent systems, e.g. autonomous vehicles and robots to plan early and make decisions accordingly. Future scene parsing and optical flow estimation are two key tasks that help agents better understand their environments as the former provides dense semantic information, i.e. what objects will be present and where they will appear, while the latter provides dense motion information, i.e. how the objects will move. In this paper, we propose a novel model to simultaneously predict scene parsing and optical flow in unobserved future video frames. To our best knowledge, this is the first attempt in jointly predicting scene parsing and motion dynamics. In particular, scene parsing enables structured motion prediction by decomposing optical flow into different groups while optical flow estimation brings reliable pixel-wise correspondence to scene parsing. By exploiting this mutually beneficial relationship, our model shows significantly better parsing and motion prediction results when compared to well-established baselines and individual prediction models on the large-scale Cityscapes dataset. In addition, we also demonstrate that our model can be used to predict the steering angle of the vehicles, which further verifies the ability of our model to learn latent representations of scene dynamics.

연구 동기 및 목표

• 자율 주행 시스템이 의미 정보와 운동 인식 능력을 동시에 필요로 하는 미래 장면 이해 분야에서의 공동 모델링 부족 문제를 해결하기 위해.
• 서로 보완적인 관계를 활용하여 미래 장면 해석 및 광학 흐름 예측의 정확도를 향상시키기 위해.
• 반복적 보정을 통해 장기적인 미래 예측(최대 10단계)을 안정적이고 세밀한 출력으로 구현하기 위해.
• 실제 주행 작업에서의 실용성을 입증하기 위해 모델을 활용해 차량 조향 각도를 예측함으로써 실제 주행 임무에서의 가치를 보여주기 위해.

제안 방법

• 모델는 유사한 특징 추출을 공유하는 광학 흐름 예측 네트워크와 장면 해석 예측 네트워크로 구성된 이중 브랜치 아키텍처를 사용하며, 엔드 투 엔드로 훈련된다.
• 광학 흐름 예측 결과를 활용해 시간적으로 일관된 특징을 통해 해석 세부 정보를 향상시킨다.
• 장면 해석 결과를 바탕으로 광학 흐름을 카테고리별 운동 그룹으로 분해함으로써 운동 추정 정확도를 향상시킨다.
• 다단계 예측 동안 순환적 보정을 적용하여 가중치를 반복적으로 갱신함으로써 장기적인 역학을 포착한다.
• 조향 각도를 회귀하기 위해 광학 흐름 특징 위에 완전 연결 층을 추가하여 후행 응용 평가를 가능하게 한다.
• 프레임워크는 백본에 종속되지 않으며, 시티스케이프 및 컴마.에이아 데이터셋을 사용해 엔드 투 엔드 훈련을 지원한다.

실험 결과

연구 질문

• RQ1 미래 장면 해석과 광학 흐름을 함께 예측하면 각각을 별도로 예측하는 것보다 성능이 향상되는가?
• RQ2 장면 해석과 광학 흐름 예측 간의 상호 보조 학습이 미래 영상 예측의 정확도와 일반화 능력을 어떻게 향상시키는가?
• RQ3 모델가 장기적인 미래 예측(예: 10단계) 동안 정확도와 세부 정보를 얼마나 잘 유지할 수 있는가?
• RQ4 예측된 장면 해석 및 광학 흐름 특징가 후행 주행 임무(예: 조향 각도 예측)에 효과적으로 활용될 수 있는가?
• RQ5 순환적 보정이 장기적인 영상 역학을 모델링하는 데 모델의 능력을 향상시키는가?

주요 결과

• 10단계 미래 예측에서 강력한 베이스라인 대비 mIoU는 3.1% 향상되고 종단 오차(EPE)는 1.79 감소한다.
• 조향 각도 예측에서 평균 제곱 오차(MSE)는 2.96도²을 기록하여 컴마.에이아 베이스라인(~4도²)을 초월한다.
• 순환적 보정은 mIoU를 1.3% 향상시키고 EPE를 0.32 감소시켜 장기 역학 모델링의 효과성을 입증한다.
• 단일 및 다단계 예측 모두에서 독립적인 해석 또는 광학 흐름 예측 모델, 워핑 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보인다.
• 정성적 결과는 기존 방법보다 더 세밀하고 시간적으로 일관된 장면 해석 및 광학 흐름 예측을 생성함을 보여준다.
• 공동 학습 프레임워크는 일반화 능력 향상과 richer한 장면 표현을 가능하게 하며, 정량적 지표와 후행 응용을 통해 검증되었다.