[論文レビュー] STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction

Zheng Chang, Xinfeng Zhang+3 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本稿では、マルチグレイン スペーシオトロピカルオートエンコーダー（MGST-AE）とスペーシオトロピカルゲーテッドリカレントユニット（STGRU）を用いて高解像度動画特徴を保持する新規な時空間動画予測モデル、STIPを提案する。また、学習された知覚損失（LP-loss）を用いることで、予測の視認的品質を向上させる。STIPはUCF SportsおよびHuman3.6Mデータセットにおける高解像度動画予測ベンチマークで最先端の性能を達成し、PSNRとLPIPSスコアの両面で既存手法を上回っている。

ABSTRACT

Although significant achievements have been achieved by recurrent neural network (RNN) based video prediction methods, their performance in datasets with high resolutions is still far from satisfactory because of the information loss problem and the perception-insensitive mean square error (MSE) based loss functions. In this paper, we propose a Spatiotemporal Information-Preserving and Perception-Augmented Model (STIP) to solve the above two problems. To solve the information loss problem, the proposed model aims to preserve the spatiotemporal information for videos during the feature extraction and the state transitions, respectively. Firstly, a Multi-Grained Spatiotemporal Auto-Encoder (MGST-AE) is designed based on the X-Net structure. The proposed MGST-AE can help the decoders recall multi-grained information from the encoders in both the temporal and spatial domains. In this way, more spatiotemporal information can be preserved during the feature extraction for high-resolution videos. Secondly, a Spatiotemporal Gated Recurrent Unit (STGRU) is designed based on the standard Gated Recurrent Unit (GRU) structure, which can efficiently preserve spatiotemporal information during the state transitions. The proposed STGRU can achieve more satisfactory performance with a much lower computation load compared with the popular Long Short-Term (LSTM) based predictive memories. Furthermore, to improve the traditional MSE loss functions, a Learned Perceptual Loss (LP-loss) is further designed based on the Generative Adversarial Networks (GANs), which can help obtain a satisfactory trade-off between the objective quality and the perceptual quality. Experimental results show that the proposed STIP can predict videos with more satisfactory visual quality compared with a variety of state-of-the-art methods. Source code has been available at \url{https://github.com/ZhengChang467/STIPHR}.

研究の動機と目的

• 特徴の圧縮と不十分な再帰的記憶構造の設計が原因で生じる高解像度動画予測における情報損失問題に対処すること。
• 従来のMSEベースの損失関数がもたらす知覚感受性の欠如（ぼんやりとした、現実的でない予測）を克服すること。
• 計算コストが高くないが、情報損失を抑えることができる、効率的で情報保持型の時空間再帰ユニットを設計すること。
• 客観的品質（PSNR）と知覚的リアリズム（LPIPS）の両方をバランスよく向上させる学習された知覚損失を設計すること。
• 計算コストの低減を伴いながら、視覚的品質を向上させた高解像度動画予測における最先端の性能を達成すること。

提案手法

• X-Netアーキテクチャに基づくマルチグレイン スペーシオトロピカルオートエンコーダー（MGST-AE）を構築し、空間的および時間的領域の両方でマルチレベルのスキップ接続を用いて、エンコーディングおよびデコーディング段階でマルチグレイン特徴を保持する。
• LSTMの代替として、軽量かつ効率的な選択肢として、時空間的依存関係を隠れ状態遷移において明示的にモデル化するスペーシオトロピカルゲーテッドリカレントユニット（STGRU）を提案する。
• STGRUは、状態遷移中に時空間的整合性を維持する新しいゲーティング機構を採用しており、情報損失と計算負荷を低減する。
• 事前学習済みのVGGネットワークを用いて知覚特徴を抽出し、GANベースの adversarial 損失とMSEを組み合わせることで、より現実的な予測を実現する学習された知覚損失（LP-loss）を設計する。
• STIPモデル全体は、MGST-AE、STGRU、LP-lossを統合し、UCF SportsおよびHuman3.6Mなどの高解像度動画データセット上でエンド・ツー・エンドに訓練する。
• アブレーションスタディでは、同一のエンコーダ/デコーダを用い、PSNR/LPIPSスコアを評価指標として用いて、さまざまな予測記憶機構および損失関数の性能を公平に比較する。

実験結果

リサーチクエスチョン

• RQ1 マルチグレインオートエンコーダー構造は、高解像度動画予測における特徴抽出段階で、時空間的詳細を効果的に保持できるか？
• RQ2 時空間に配慮したゲーティング再帰ユニット（STGRU）は、計算コストを抑えながらも、標準的なLSTMやGRUを上回る長距離の時空間的ダイナミクスの保持を実現できるか？
• RQ3 学習された知覚損失（LP-loss）は、標準のMSE損失やGANのみの損失と比較して、客観的品質（PSNR）と知覚的品質（LPIPS）の両面でより良いトレードオフを達成できるか？
• RQ4 MGST-AE、STGRU、LP-lossの統合は、高解像度動画予測ベンチマークで最先端の性能を達成できるか？
• RQ5 既存のSOTA手法と比較して、STIPの推論速度、パラメータ効率、視覚的品質はどの程度か？

主な発見

• STGRUは、Human3.6Mデータセット（4→4フレーム）でPSNR 31.21を達成し、E3D-LSTM や Reversible-PM など他のメモリユニットをすべて上回った。パrameter数は3.14M、FLOPsは0.79Gにとどまる。
• E3D-LSTMと比較してFLOPsを56％削減しながら、PSNRを1.28 dB向上させ、計算効率と性能の両面で優れた性能を示した。
• LP-lossを用いることで、STIPはHuman3.6MでLPIPSスコア7.54を達成し、MSEのみの学習（10.44）と比較して27.8％の低下を達成した。これは、知覚的品質の顕著な向上を示している。
• UCF Sportsデータセット（4→6フレーム）では、LP-lossを用いたSTIPがPSNR 25.47、LPIPS 27.67を達成し、MSEのみおよびMSE+GANベースラインの両方を知覚的品質面で上回った。
• アブレーションスタディの結果、LP-lossはPSNRとLPIPSの両方を効果的にバランスさせ、MSEのみの学習と比較してLPIPSで12.5％の改善を達成しながらも、競争力のあるPSNRを維持した。
• STIPはUCF SportsおよびHuman3.6Mの両方で最先端の性能を達成し、高解像度動画予測における視覚的品質と効率性の両面で優れた性能を示した。