[論文レビュー] Inception-inspired LSTM for Next-frame Video Prediction

Matin Hosseini, Anthony S. Maida+2 more|arXiv (Cornell University)|Aug 28, 2019

Video Surveillance and Tracking Methods参考文献 22被引用数 15

ひとこと要約

本稿では、次フレーム動画予測のための特徴表現を向上させるために、標準的な畳み込みLSTMの代わりに、各LSTMゲート内でマルチスケールカーネル演算を組み込んだInceptionにインspiredされたLSTMアーキテクチャを提案する。KITTIおよびKTHデータセット上でPredNetフレームワークを用いて評価した結果、Inception LSTM（バージョン1）はMSEおよびSSIMの両面で標準的なConvLSTMを上回った。一方、バージョン2はわずかに性能が低下するが、計算コストを削減した。

ABSTRACT

The problem of video frame prediction has received much interest due to its relevance to many computer vision applications such as autonomous vehicles or robotics. Supervised methods for video frame prediction rely on labeled data, which may not always be available. In this paper, we provide a novel unsupervised deep-learning method called Inception-based LSTM for video frame prediction. The general idea of inception networks is to implement wider networks instead of deeper networks. This network design was shown to improve the performance of image classification. The proposed method is evaluated on both Inception-v1 and Inception-v2 structures. The proposed Inception LSTM methods are compared with convolutional LSTM when applied using PredNet predictive coding framework for both the KITTI and KTH data sets. We observed that the Inception based LSTM outperforms the convolutional LSTM. Also, Inception LSTM has better prediction performance compared to Inception v2 LSTM. However, Inception v2 LSTM has a lower computational cost compared to Inception LSTM.

研究の動機と目的

• 再帰的動画モデルにおける特徴表現の向上により、次フレーム動画予測の性能を改善すること。
• LSTMゲート内でのマルチスケールカーネル演算が、動画フレーム間の多様な運動パターンをよりよく捉えられることを検証すること。
• InceptionにインスパイアされたLSTMの2つのバージョンを用いて、性能と計算コストのトレードオフを評価すること。
• 提案されたアーキテクチャをPredNet予測符号化フレームワーク内に統合し、一貫性のある比較を実施すること。
• 標準的な動画予測ベンチマーク（KITTIおよびKTH）上で、本手法の有効性を示すこと。

提案手法

• 提案されたInceptionにインスパイアされたLSTMは、各ゲートにおいて1×1、3×3、5×5畳み込みを並列に使用するマルチブランチ構造に、標準的な畳み込みLSTMゲートを置き換える。
• 各カーネルブランチからの出力を連結し、最終的なゲート出力を得るためにハードシグモイド活性化関数を適用することで、マルチスケール特徴の統合を実現する。
• 2つのバージョンを実装：バージョン1は1つの5×5畳み込みを、バージョン2はそれを2段の3×3畳み込みに置き換えることでパラメータ数を削減する。
• アーキテクチャはPredNetフレームワーク内に埋め込まれており、再帰的スイープ接続とトップダウンの文脈フィードバックにより誤差伝搬を支援する。
• 一貫性を保つために、元のPredNet実装に従い、ゲート活性化にシグモイドではなくハードシグモイドを使用する。
• 学習はMSE損失を用い、KITTI（交通シーン）およびKTH（人間の歩行）データセット上で評価を行う。それぞれ160×128および160×120のRGBフレームを対象とする。

実験結果

リサーチクエスチョン

• RQ1 標準的な畳み込みLSTMゲートをマルチスケールカーネル演算に置き換えることで、次フレーム動画予測の性能が向上するか？
• RQ2 InceptionにインスパイアされたLSTMアーキテクチャは、動画予測タスクにおいて、標準的なConvLSTMと比較して、より高い構造的類似性と低い誤差を達成できるか？
• RQ3 Inception LSTMバージョン1とバージョン2の間で、モデルの複雑さと性能のトレードオフはどのように比較されるか？
• RQ4 使用する過去フレーム数が増えることで、本手法はより長い時間的文脈を活用し、性能向上を達成できるか？
• RQ5 KITTIおよびKTHのような多様な動画データセットにおいて、InceptionにインスパイアされたLSTMの性能向上は一貫しているか？

主な発見

• Inception LSTMバージョン1は、KITTIおよびKTHデータセットの両方で、すべてのモデルの中で最小の平均二乗誤差（MSE）を達成し、優れた予測精度を示した。
• Inception LSTMバージョン1は、両データセットで最高の構造的類似性指数（SSIM）を示し、予測における画像構造の保持が優れていたことを確認した。
• すべてのモデル、包括的にInception LSTMも、より長い時間的文脈（過去フレームの履歴）を用いることで性能が向上し、少なくとも5フレーム分の履歴を持つと最大性能に達した。
• Inception LSTMバージョン2は、バージョン1よりも計算コストが低く抑えられたが、わずかに性能が低下した。これは、効率性を重視する用途においても有利なトレードオフであることを示した。
• テスト動画におけるMSEおよびSSIMの信頼区間は、モデル間で重複していたが、平均値は一貫してInception LSTMバージョン1に有利であった。
• KITTIおよびKTHデータセットにおける可視化比較では、Inception LSTMが、特に動きの詳細において、ConvLSTMよりもシャープで整合性のある予測を生成した。