[논문 리뷰] STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction

Zheng Chang, Xinfeng Zhang외 3명|arXiv (Cornell University)|2022. 06. 09.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 고해상도 영상 특징을 유지하기 위해 다중 해상도 시공간 자동에코더(MGST-AE)와 시공간 게이팅 순환단위(STGRU)를 활용하고, 학습된 인지 손실(LP-loss)을 통해 시각적 품질을 향상시키는 새로운 시공간 영상 예측 모델인 STIP을 제안한다. STIP은 UCF Sports 및 Human3.6M 데이터셋에서 기존 방법들을 능가하는 우수한 PSNR 및 LPIPS 점수를 기록하며 고해상도 영상 예측 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Although significant achievements have been achieved by recurrent neural network (RNN) based video prediction methods, their performance in datasets with high resolutions is still far from satisfactory because of the information loss problem and the perception-insensitive mean square error (MSE) based loss functions. In this paper, we propose a Spatiotemporal Information-Preserving and Perception-Augmented Model (STIP) to solve the above two problems. To solve the information loss problem, the proposed model aims to preserve the spatiotemporal information for videos during the feature extraction and the state transitions, respectively. Firstly, a Multi-Grained Spatiotemporal Auto-Encoder (MGST-AE) is designed based on the X-Net structure. The proposed MGST-AE can help the decoders recall multi-grained information from the encoders in both the temporal and spatial domains. In this way, more spatiotemporal information can be preserved during the feature extraction for high-resolution videos. Secondly, a Spatiotemporal Gated Recurrent Unit (STGRU) is designed based on the standard Gated Recurrent Unit (GRU) structure, which can efficiently preserve spatiotemporal information during the state transitions. The proposed STGRU can achieve more satisfactory performance with a much lower computation load compared with the popular Long Short-Term (LSTM) based predictive memories. Furthermore, to improve the traditional MSE loss functions, a Learned Perceptual Loss (LP-loss) is further designed based on the Generative Adversarial Networks (GANs), which can help obtain a satisfactory trade-off between the objective quality and the perceptual quality. Experimental results show that the proposed STIP can predict videos with more satisfactory visual quality compared with a variety of state-of-the-art methods. Source code has been available at \url{https://github.com/ZhengChang467/STIPHR}.

연구 동기 및 목표

• 특징 압축과 부적절한 순환 메모리 설계로 인한 고해상도 영상 예측에서의 정보 손실 문제를 해결하기 위해.
• 기존 MSE 기반 손실 함수의 인지 민감도 부족으로 인해 생기는 흐릿하고 비현실적인 예측을 해결하기 위해.
• 계산 비용이 높은 LSTMs를 능가하고 공간적 구조를 忽시하는 효율적인 정보 유지 시공간 순환단위를 설계하기 위해.
• 목표 품질(PSNR)과 인지적 현실감(LPIPS)을 균형 있게 유지하는 학습된 인지 손실을 개발하기 위해.
• 계산 비용을 줄이고 시각적 품질을 향상시켜 고해상도 영상 예측에서 최신 기술 성능을 달성하기 위해.

제안 방법

• X-Net 아키텍처를 기반으로 한 다중 해상도 시공간 자동에코더(MGST-AE)를 구축하여, 공간적 및 시간적 영역에서 다중 수준의 스케일 연결을 사용해 인코딩 및 디코딩 과정에서 다중 해상도 특징을 유지한다.
• LSTM의 경량 대체품으로서 시공간적 종속성을 은닉 상태 전이 과정에서 명시적으로 모델링하는 시공간 게이팅 순환단위(STGRU)를 제안한다.
• STGRU는 상태 전이 과정에서 시공간 일관성을 유지하는 새로운 게이팅 메커니즘을 사용하여 정보 손실과 계산 부담을 감소시킨다.
• 사전 학습된 VGG 네트워크를 활용해 인지적 특징을 추출하고, GAN 기반의 적대적 손실과 MSE를 조합하여 개선된 현실감을 확보한 학습된 인지 손실(LP-loss)을 설계한다.
• STIP 전체 모델은 MGST-AE, STGRU, LP-loss를 통합하여 UCF Sports 및 Human3.6M와 같은 고해상도 영상 데이터셋에서 엔드 투 엔드로 훈련된다.
• 제거 분석을 통해 동일한 인코더/디코더를 사용하고 PSNR/LPIPS 지표를 활용하여 공정한 평가를 위해 다양한 예측 메모리와 손실 함수를 STIP과 비교한다.

실험 결과

연구 질문

• RQ1 고해상도 영상 예측에서 특징 추출 과정에서 다중 해상도 자동에코더 아키텍처가 시공간 세부 정보를 효과적으로 유지할 수 있는가?
• RQ2 시공간 인지 게이팅 순환단위(STGRU)가 계산 비용을 낮추면서도 기존 LSTMs 및 GRUs보다 장거리 시공간 동역학을 더 잘 유지할 수 있는가?
• RQ3 학습된 인지 손실(LP-loss)이 표준 MSE 또는 GAN 전용 손실보다 목표 품질(PSNR)과 인지 품질(LPIPS) 사이의 균형을 더 잘 달성할 수 있는가?
• RQ4 MGST-AE, STGRU, LP-loss의 통합이 고해상도 영상 예측 벤치마크에서 최신 기술 성능을 달성하는가?
• RQ5 기존 최신 기술 방법들과 비교해 STIP은 추론 속도, 파라미터 효율성, 시각적 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• Human3.6M 데이터셋(4→4 프레임)에서 STGRU는 31.21의 PSNR를 기록하며, E3D-LSTM 및 Reversible-PM을 포함한 모든 다른 메모리 유닛을 능가한다. 파라미터 수는 3.14M, FLOPs는 0.79G이다.
• E3D-LSTM 대비 FLOPs를 56% 감소시켰고, PSNR는 1.28 dB 향상시켜 뛰어난 효율성과 성능을 입증한다.
• LP-loss를 사용함으로써 Human3.6M에서 LPIPS 점수는 7.54를 기록하여, MSE 전용 훈련 대비 27.8% 감소(10.44 → 7.54)하여 인지 품질 향상이 뚜렷하게 나타난다.
• UCF Sports 데이터셋(4→6 프레임)에서 LP-loss를 사용한 STIP은 PSNR 25.47, LPIPS 27.67을 기록하며, MSE 전용 및 MSE+GAN 기반 베이스라인 모두를 시각적 품질 측면에서 능가한다.
• 제거 분석 결과, LP-loss가 PSNR와 LPIPS를 효과적으로 균형 잡는 데 성공했으며, MSE 전용 훈련 대비 LPIPS에서 12.5% 향상되었고, 경쟁 가능한 PSNR 수준도 유지한다.
• STIP은 UCF Sports 및 Human3.6M에서 모두 최신 기술 성능을 달성하여 고해상도 영상 예측에서 뛰어난 시각적 품질과 효율성을 입증한다.