[논문 리뷰] Inception-inspired LSTM for Next-frame Video Prediction

Matin Hosseini, Anthony S. Maida외 2명|arXiv (Cornell University)|2019. 08. 28.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 15

한 줄 요약

이 논문은 다음 프레임 영상 예측을 위한 Inception 구조를 참고한 LSTM 아키텍처를 제안한다. 표준 컨볼루션 LSTM 대신 각 LSTM 게이트 내에서 다중 척도 커널 연산을 사용하여 특징 표현을 향상시킨다. PredNet 프레임워크를 사용해 KITTI 및 KTH 데이터셋에서 평가한 결과, Inception LSTM (버전 1)은 MSE 및 SSIM 측면에서 표준 ConvLSTM를 능가했으며, 버전 2는 약간의 성능 저하를 감수하면서도 계산 비용을 줄였다.

ABSTRACT

The problem of video frame prediction has received much interest due to its relevance to many computer vision applications such as autonomous vehicles or robotics. Supervised methods for video frame prediction rely on labeled data, which may not always be available. In this paper, we provide a novel unsupervised deep-learning method called Inception-based LSTM for video frame prediction. The general idea of inception networks is to implement wider networks instead of deeper networks. This network design was shown to improve the performance of image classification. The proposed method is evaluated on both Inception-v1 and Inception-v2 structures. The proposed Inception LSTM methods are compared with convolutional LSTM when applied using PredNet predictive coding framework for both the KITTI and KTH data sets. We observed that the Inception based LSTM outperforms the convolutional LSTM. Also, Inception LSTM has better prediction performance compared to Inception v2 LSTM. However, Inception v2 LSTM has a lower computational cost compared to Inception LSTM.

연구 동기 및 목표

• 재귀적 영상 모델 내 특징 표현을 향상시켜 다음 프레임 영상 예측 성능을 향상시키는 것.
• LSTM 게이트 내 다중 척도 커널 연산이 영상 프레임 간 다양한 운동 패턴을 더 잘 포착할 수 있는지 탐구하는 것.
• Inception 구조를 참고한 LSTM의 두 버전을 통해 성능과 계산 비용 간의 트레이드오���을 평가하는 것.
• 제안된 아키텍처를 일관된 비교를 위해 PredNet 예측 코드 프레임워크 내에 통합하는 것.
• 표준 영상 예측 벤치마크(KITTI 및 KTH)에서 제안 방법의 효과성을 입증하는 것.

제안 방법

• 제안된 Inception 구조를 참고한 LSTM은 표준 컨볼루션 LSTM 게이트를 1x1, 3x3, 5x5 컨볼루션을 병렬로 사용하는 다중 브랜치 구조로 대체한다.
• 각 커널 브랜치의 출력을 연결하여 결합하고, 하드 시그모이드 활성화 함수를 적용해 최종 게이트 출력을 생성함으로써 다중 척도 특징 융합을 가능하게 한다.
• 두 가지 버전이 구현되었으며, 버전 1은 단일 5x5 컨볼루션을 사용하고, 버전 2는 이를 두 개의 스택된 3x3 컨볼루션으로 대체하여 파라미터를 감소시킨다.
• 아키텍처는 재귀적 스킵 연결과 상향식 맥락 피드백을 통해 오차 전파를 지원하는 PredNet 프레임워크 내에 통합된다.
• 일관성을 위해 게이트 활성화 함수로 표준 시그모이드 대신 하드 시그모이드를 사용한다.
• 학습은 MSE 손실을 사용하고, 평가는 각각 160x128 및 160x120 RGB 프레임을 가지는 KITTI(교통 장면) 및 KTH(인간 걷기) 데이터셋에서 수행된다.

실험 결과

연구 질문

• RQ1 표준 컨볼루션 LSTM 게이트를 다중 척도 커널 연산으로 대체하면 다음 프레임 영상 예측 성능이 향상되는가?
• RQ2 Inception 구조를 참고한 LSTM 아키텍처가 영상 예측 작업에서 표준 ConvLSTM보다 더 높은 구조적 유사도와 낮은 오차를 달성하는가?
• RQ3 Inception LSTM 버전 1과 버전 2 간의 모델 복잡도와 성능 간 트레이드오프는 어떻게 비교되는가?
• RQ4 사용된 이전 프레임 수로 측정할 때, 제안된 방법이 더 긴 시간적 맥락에서 유리한가?
• RQ5 Inception 구조를 참고한 LSTM의 성능 향상 효과가 KITTI 및 KTH와 같은 다양한 영상 데이터셋에서 일관되게 나타나는가?

주요 결과

• Inception LSTM 버전 1은 KITTI 및 KTH 데이터셋 양측에서 모든 모델 중 가장 낮은 평균 제곱 오차(MSE)를 기록하여 더 높은 예측 정확도를 보였다.
• Inception LSTM 버전 1은 양 데이터셋에서 가장 높은 구조적 유사도 지수(SSIM)를 기록하여 예측 결과에서 이미지 구조를 더 잘 유지함을 확인했다.
• 모든 모델, Including Inception LSTM의 성능은 더 긴 시간적 맥락을 제공할수록 향상되었으며, 최소 5개의 이전 프레임이 필요할 때 최대 성능에 도달했다.
• Inception LSTM 버전 2는 버전 1보다 계산 비용이 낮았고, 성능은 略로 저하되었지만 효율성 측면에서 유리한 트레이드오프를 보였다.
• 테스트 영상에 대한 MSE 및 SSIM의 신뢰구간은 서로 겹치는 경향이 있었지만, 평균 값은 항상 Inception LSTM 버전 1에 유리하게 나타났다.
• KITTI 및 KTH 데이터셋에서의 시각적 비교 결과, Inception LSTM은 특히 운동 세부 정보에서 ConvLSTM보다 더 선명하고 일관성 있는 예측을 생성했다.