[論文レビュー] PredRNN++: Towards A Resolution of the Deep-in-Time Dilemma in Spatiotemporal Predictive Learning

Yunbo Wang, Zhifeng Gao+3 more|arXiv (Cornell University)|Apr 17, 2018

Machine Learning and Data Classification被引用数 315

ひとこと要約

PredRNN++ はデュアルメモリと Gradient Highway Unit を備えた cascaded causal LSTM を導入し、時間を深く遡る時空間モデリングを可能にするとともに勾配の消失を抑制し、合成データセットと実データセットのビデオ予測で最先端を達成する。

ABSTRACT

We present PredRNN++, an improved recurrent network for video predictive learning. In pursuit of a greater spatiotemporal modeling capability, our approach increases the transition depth between adjacent states by leveraging a novel recurrent unit, which is named Causal LSTM for re-organizing the spatial and temporal memories in a cascaded mechanism. However, there is still a dilemma in video predictive learning: increasingly deep-in-time models have been designed for capturing complex variations, while introducing more difficulties in the gradient back-propagation. To alleviate this undesirable effect, we propose a Gradient Highway architecture, which provides alternative shorter routes for gradient flows from outputs back to long-range inputs. This architecture works seamlessly with causal LSTMs, enabling PredRNN++ to capture short-term and long-term dependencies adaptively. We assess our model on both synthetic and real video datasets, showing its ability to ease the vanishing gradient problem and yield state-of-the-art prediction results even in a difficult objects occlusion scenario.

研究の動機と目的

• 時間を深く掘り下げたモデリングを促進し、時空間予測学習における短期的なビデオダイナミクスを改善する。
• カスケード状のデュアルメモリ機構（causal LSTM）を導入して、再帰深度を1タイムステップから次へと増加させる。
• Gradient Highway Unit (GHU) を用いて、勾配の消失を回避する。
• causal LSTMs と GHU の組み合わせが、短期・長期依存関係を適応的に捉えることを実証する。
• synthetic and real video datasets を用いて、最先端の性能を示す。

提案手法

• カスケード状のデュアルメモリ（時系列メモリ C_t^k と空間メモリ M_t^k）を備えた causal LSTM を導入し、タイムステップ間の再帰深度を増加させる。
• memories を cascaded ガスで接続し、各予測フレームのより深い遷移経路とより大きな受容野を作る。
• Gradient Highway Unit (GHU) を提案し、出力から遠い入力へ勾配を流すショートカット経路を提供し、Switch Gate S_t によって制御される。
• L causal LSTMs を積み重ね、最初と二番目の LSTM 層の間に単一の GHU を挿入して、長期情報の流れと短期情報の流れのバランスをとる。
• 5-layer アーキテクチャを採用：4つの causal LSTMs のチャンネルサイズ 128, 64, 64, 64 と 128 チャンネルの GHU；畳み込みは 5x5 を使用。

実験結果

リサーチクエスチョン

• RQ1 時間方向へより深い再帰アーキテクチャは、勾配消失に苦しむことなく短期的なビデオダイナミクスのモデリングを改善できるか。
• RQ2 カスケード型デュアルメモリ（causal LSTM）構造は、従来の ST-LSTM や Deep Transition RNN よりも時空間依存をうまく捉えるか。
• RQ3 Gradient Highway Unit は、遠いフレームからの学習を支える効果的な長距離勾配伝播を提供できるか。
• RQ4 PredRNN++ は、synthetic occlusion-heavy data および real action videos において、従来の最先端モデルと比較してどう性能を示すか。
• RQ5 ネットワーク内の異なる位置に GHU を配置することの影響は何か。

主な発見

• causal LSTM と GHU を組み合わせた PredRNN++ は Moving MNIST 系列で最先端の結果を達成し、PredRNN や ST-LSTM 系を含むいくつかのベースラインを上回った。
• cascaded, spatial-to-temporal causal LSTM variant は original ST-LSTM に比べ SSIM を改善し MSE を低減した。
• GHU はモデル全体で性能を一貫して向上させ、最も効果的なのは下の二つの LSTM 層の間に配置した場合。
• Gradient analysis は PredRNN++ が時間をまたいでもより強く、より有益な勾配を維持し、長距離予測における勾配消失問題を緩和することを示した。
• KTH action データで PredRNN++ は最高の PSNR と SSIM を達成し、長期依存モデリングの改善とブラーの低減を示唆している。