[論文レビュー] Video Ladder Networks

Francesco Cricri, Xingyang Ni+3 more|arXiv (Cornell University)|Dec 6, 2016

Human Pose and Action Recognition参考文献 6被引用数 17

ひとこと要約

本論文では、畳み込みLSTMを介したフィードフォワードスキップ接続と再帰接続を統合する横向き再帰的残差ブロックを備えた、軽量で完全畳み込み型のエンコーダ・デコーダアーキテクチャ、Video Ladder Networks (VLN) を提案する。このモデルは、Moving MNIST において高速な推論を実現しながらも、パrameter数が少なく構造が単純であるにもかかわらず、大多数のベースラインを上回る優れた動画予測性能を達成する。

ABSTRACT

We present the Video Ladder Network (VLN) for efficiently generating future video frames. VLN is a neural encoder-decoder model augmented at all layers by both recurrent and feedforward lateral connections. At each layer, these connections form a lateral recurrent residual block, where the feedforward connection represents a skip connection and the recurrent connection represents the residual. Thanks to the recurrent connections, the decoder can exploit temporal summaries generated from all layers of the encoder. This way, the top layer is relieved from the pressure of modeling lower-level spatial and temporal details. Furthermore, we extend the basic version of VLN to incorporate ResNet-style residual blocks in the encoder and decoder, which help improving the prediction results. VLN is trained in self-supervised regime on the Moving MNIST dataset, achieving competitive results while having very simple structure and providing fast inference.

研究の動機と目的

• 階層的な時空間表現を活用する軽量で効率的な動画予測モデルの開発を目的とする。
• エンコーダの複数レベルの特徴を横向き接続によってデコーダがアクセス可能になるようにすることで、上位レイヤーの負担を軽減することを目的とする。
• 残差ブロックフレームワーク内に再帰的横向き接続とフィードフォワードスキップ接続を統合することで、予測精度と推論速度を向上させることを目的とする。
• 標準ベンチマーク（Moving MNIST）におけるモデルの性能を評価し、先行する最先端手法と比較することを目的とする。
• VLNフレームワーク内でのResNetスタイルの残差ブロックが動画予測性能に与える影響を調査することを目的とする。

提案手法

• モデルは、エンコーダでドーナツ型畳み込みを、デコーダで標準畳み込みを用いる完全畳み込み型のエンコーダ・デコーダアーキテクチャを採用する。
• 各レイヤーで、横向き接続が再帰的残差ブロックを形成する：フィードフォワードスキップ接続と、時系列モデリングのためのconv-LSTM経由の再帰接続。
• conv-LSTMは時系列にわたる特徴マップを処理し、空間的構造を保持するとともに、デコーダがすべてのエンコーダレイヤーからの時系列要約にアクセスできるようにする。
• バッチ正規化とリ leaky ReLU 活性化関数を採用し、最終層ではシグモッド出力を使用する。
• 拡張版であるVLN-ResNetは、特徴学習の向上を目的として、エンコーダおよびデコーダにResNetスタイルの残差ブロックを統合する。
• 訓練にはウィンドウング戦略を採用し、RMSpropを用い、バイナリクロスエントロピー損失関数を適用し、予測結果をフィードバックすることで時系列の一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 軽量なアーキテクチャにおいて、複数レベルの特徴にアクセス可能にする横向き再帰的残差ブロックは、動画予測性能の向上に寄与するか？
• RQ2 conv-LSTMを介した再帰的横向き接続は、純粋なフィードフォワードスキップ接続に比べて、動画予測においてどのように優れているか？
• RQ3 ResNetスタイルの残差ブロックを統合することで、Video Ladder Networkの性能はどの程度向上するか？
• RQ4 横向き再帰接続を備えた単純で浅いアーキテクチャは、より深く複雑なモデルと比較して、動画予測タスクで競争力のある結果を達成できるか？
• RQ5 最先端の動画予測モデルと比較して、モデルの推論速度とパrameter効率はどの程度か？

主な発見

• VLNはMoving MNISTデータセットでテスト損失207.0を達成し、パrameter数が多く、構造が複雑なVPN-BLを除けば、大多数の先行モデルを上回る性能を示す。
• VLN-ResNetはテスト損失187.7を達成し、残差ブロックの統合がパrameter数のわずかな増加で性能をさらに向上させることを示している。
• フィードフォワード接続を備えないVLN-BLベースラインは222.3の損失を示し、再帰的横向き接続が性能向上の主因であることを示している。
• フィードフォワード横向き接続の追加（VLN-BL-FF）は性能向上にわずかに留まり（損失220.1）、再帰接続がより重要であることを示唆している。
• 訓練時においては予測の平均化を5回分に制限している（先行研究の10回分より少ない）にもかかわらず、依然として優れた結果を達成しており、訓練戦略の制限に強く、ロバストであることが示された。
• モデルはたった10イテレーションで高速な推論を実現しており、1フレームあたりN×N×3イテレーションを要するオリジナルのVPNのようなピクセル単位の予測モデルと比較して、顕著に高速である。