[論文レビュー] Convolutional Tensor-Train LSTM for Spatio-temporal Learning

Jiahao Su, Wonmin Byeon+4 more|arXiv (Cornell University)|Feb 21, 2020

Tensor decomposition and applications参考文献 59被引用数 75

ひとこと要約

本論文は、動画における長期的な時空相関を学習するための高階の Convolutional Tensor-Train LSTM (Conv-TT-LSTM) を提案する。畳み込みテンソルトレイン分解を用いて複数の過去状態を圧縮的にモデル化し、動画予測と早期の活動認識で最先端の結果を達成する。

ABSTRACT

Learning from spatio-temporal data has numerous applications such as human-behavior analysis, object tracking, video compression, and physics simulation.However, existing methods still perform poorly on challenging video tasks such as long-term forecasting. This is because these kinds of challenging tasks require learning long-term spatio-temporal correlations in the video sequence. In this paper, we propose a higher-order convolutional LSTM model that can efficiently learn these correlations, along with a succinct representations of the history. This is accomplished through a novel tensor train module that performs prediction by combining convolutional features across time. To make this feasible in terms of computation and memory requirements, we propose a novel convolutional tensor-train decomposition of the higher-order model. This decomposition reduces the model complexity by jointly approximating a sequence of convolutional kernels asa low-rank tensor-train factorization. As a result, our model outperforms existing approaches, but uses only a fraction of parameters, including the baseline models.Our results achieve state-of-the-art performance in a wide range of applications and datasets, including the multi-steps video prediction on the Moving-MNIST-2and KTH action datasets as well as early activity recognition on the Something-Something V2 dataset.

研究の動機と目的

• 動画データにおける一階の ConvLSTM を超える長期的な時空相関のモデリングの必要性を動機づける。
• 新規の畳み込みテンソルトレイン分解（CTTD）を用いて計算効率の高い高階 ConvLSTM を開発する。
• N 時間ステップでの線形時間因子分解により時系列の受容野を拡張しつつ、空間構造を保持する。
• 複数のデータセットにおいて動画予測と早期の活動認識の実験的性能を示す。
• 高階の時空学習を安定化・向上させる学習戦略とアーキテクチャ的要素を提供する。

提案手法

• Φ(H(t−1),…,H(t−N)) という関数を介して複数の過去の隠れ状態から情報を統合する高階 ConvLSTM を提案する。
• 畳み込みテンソルトレイン分解（CTTD）を導入し、履歴次数 N に対するパラメータの線形成長を可能にするために、K(i) の列をより小さな因子 G(j) の連鎖に分解する。
• 勾配問題を軽減し次元性を制御するために、過去の隠れ状態から重ね合わせたチャネル削減表現 ˜H(i) を作成する前処理モジュールを使用する。
• Conv-TT-LSTM の更新を [I(t); F(t); ˜C(t); O(t)] = σ(W ∗ X(t) + CTTD{G(1),…,G(N)} ∗ [˜H(1),…,˜H(N)]) と定義する。
• CTT モジュールの計算が線形時間 O(N) で実行できることを示し、効率性とスケーラビリティ制約を満たす。
• 高階トレーニングを安定化させるための学習率スケジュール、Scheduled Sampling、カリキュラム学習、勾配クリッピングを含むトレーニング戦略を提供する。

実験結果

リサーチクエスチョン

• RQ1 高階 ConvLSTM は空間構造を保持しつつ、パラメータの指数的な増加を伴わずにより長い時間履歴を取り込むことができるか？
• RQ2 畳み込みテンソルトレイン分解（CTTD）は長距離の時空依存性を効率的に、スケーラブルにモデリングできるか？
• RQ3 前処理とトレーニング戦略は高階の時空モデルの最適化と一般化を改善するか？
• RQ4 Conv-TT-LSTM は動画予測と早期の活動認識において、ConvLSTM、3D-CNN、そして最先端の予測器と比較してどう性能を示すか？

主な発見

• Conv-TT-LSTM は評価対象データセット全体で動画予測と早期の活動認識において ConvLSTM のベースラインを一貫して上回る。
• Something-Something v2 で、モデルは最先端を上回る絶対 8% の精度改善を達成。
• マルチステップの動画予測において、Moving-MNIST-2 および KTH データセットで新しい最先端の結果を確立。
• CTTD はパラメータ数と FLOPs を削減しつつ予測性能を維持または向上させ、長距離の時空モデリングを可能にする。
• 原理的な前処理モジュールと学習戦略は、高階モデルを安定化させ、改善するために不可欠である。