[논문 리뷰] Fully Context-Aware Video Prediction.

Wonmin Byeon, Qin Wang외 2명|arXiv (Cornell University)|2017. 10. 23.

Advanced Image Processing Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 Parallel Multi-Dimensional LSTMs와 블렌딩 유닛을 사용하여 시간적 맥락의 빈틈을 제거하는 완전한 맥락 인식 영상 예측 모델을 제안한다. 이로 인해 깊은 합성곱, 다중 척도 설계 또는 적대적 훈련에 의존하지 않으면서도 Human 3.6M, Caltech Pedestrian, UCF-101에서 최신 기술 수준의 성능을 달성하며, 경쟁 모델보다 파rameter 수가 적다.

ABSTRACT

Video prediction models based on convolutional networks, recurrent networks, and their combinations often result in blurry predictions. We identify an important contributing factor for imprecise predictions that has not been studied adequately in the literature: blind spots, i.e., lack of access to all relevant past information for accurately predicting the future. To address this issue, we introduce a fully context-aware architecture that captures the entire available past context for each pixel using Parallel Multi-Dimensional LSTM units and aggregates it using blending units. Our model outperforms a strong baseline network of 20 recurrent convolutional layers and yields state-of-the-art performance for next step prediction on three challenging real-world video datasets: Human 3.6M, Caltech Pedestrian, and UCF-101. Moreover, it does so with fewer parameters than several recently proposed models, and does not rely on deep convolutional networks, multi-scale architectures, separation of background and foreground modeling, motion flow learning, or adversarial training. These results highlight that full awareness of past context is of crucial importance for video prediction.

연구 동기 및 목표

• 기존 연구에서 다루지 않은 바람직하지 않은 과거 맥락 접근으로 인해 발생하는 흐린 영상 예측 문제를 해결한다.
• 모든 픽셀이 관련 맥락의 전체 역사를 접근할 수 있도록 하여 영상 예측에서의 빈틈을 제거한다.
• 적대적 훈련, 운동 흐름 추정, 다중 척도 아키텍처와 같은 복잡한 구성 요소에 의존하지 않고도 높은 예측 정확도를 달성하는 모델을 개발한다.
• 완전한 맥락 인식이 더 단순한 아키텍처에서도 뛰어난 성능을 이끌어낼 수 있음을 보여준다.

제안 방법

• 각 픽셀이 모든 과거 프레임의 공간-시간 맥락을 포괄적으로 포착할 수 있도록 Parallel Multi-Dimensional LSTM 유닛을 활용한다.
• 블렌딩 유닛을 사용하여 Parallel Multi-Dimensional LSTMs로부터 유입되는 맥락 정보를 통합하고 융합하여 예측을 위한 통합 표현을 생성한다.
• 깊은 잔여 연결 또는 확장된 합성곱 네트워크를 요구하지 않도록 아키텍처를 설계하여 완전한 맥락 인식을 유지한다.
• 배경-전경 분리, 광학 흐름 추정, 적대적 손실 함수와 같은 보조 구성 요소를 회피한다.
• 실제 영상 데이터셋에서 표준 영상 예측 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 구조화된 맥락 통합 메커니즘을 통해 장거리 시간적 의존성을 활용하여 다음 단계 예측을 최적화한다.

실험 결과

연구 질문

• RQ1 기존 모델에서 빈틈 유도 맥락 손실이 흐린 영상 예측에 얼마나 기여하는가?
• RQ2 복잡한 아키텍처 구성 요소에 의존하지 않고 과거 맥락에 대한 완전한 접근을 보장함으로써 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 깊은 합성곱 네트워크나 적대적 훈련을 사용하는 모델과 비교해 맥락 인식 모델은 예측 품질과 파rameter 효율성 측면에서 어떻게 다른가?
• RQ4 빈틈을 제거함으로써 다양한 영상 데이터셋에서 일반화 능력이 향상되는가?

주요 결과

• 제안된 모델은 Human 3.6M, Caltech Pedestrian, UCF-101 영상 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 최근에 제안된 몇몇 모델보다 파arameter 수가 적음에도 불구하고, 20개의 순환 합성곱 레이어를 가진 강력한 베이스라인을 능가한다.
• 높은 성능를 달성하기 위해 깊은 합성곱 네트워크, 다중 척도 아키텍처, 배경-전경 분리, 운동 흐름 학습, 적대적 훈련을 필요로 하지 않는다.
• 완전한 맥락 인식을 통해 빈틈을 제거함으로써 더 선명하고 정확한 영상 예측이 가능해진다.
• 다양한 운동 복잡도와 시나리오 역동성을 가진 다양한 실세계 영상 데이터셋에서 뛰어난 일반화 능력을 보여준다.