[論文レビュー] Delving Deeper into Convolutional Networks for Learning Video Representations

Nicolas Ballas, Li Yao+2 more|PolyPublie (École Polytechnique de Montréal)|Nov 19, 2015

Human Pose and Action Recognition参考文献 32被引用数 148

ひとこと要約

本稿では、事前学習済みImageNet CNNの全層からの活性化（可視的知覚）を用い、畳み込みGRUを組み合わせることで動画の空間的・時間的特徴をモデル化する、新しい再帰的畳み込みネットワーク（RCN）を提案する。低レベルの知覚に畳み込み接続を持つGRUを適用することで、微細な動きパターンを捉えつつパラメータ数を削減し、3D-CNN特徴量を用いない状態でもYouTube2Text動画キャプション生成タスクで最先端性能を達成するとともに、UCF101行動認識タスクで3.4%の向上を達成した。

ABSTRACT

We propose an approach to learn spatio-temporal features in videos from intermediate visual representations we call "percepts" using Gated-Recurrent-Unit Recurrent Networks (GRUs).Our method relies on percepts that are extracted from all level of a deep convolutional network trained on the large ImageNet dataset. While high-level percepts contain highly discriminative information, they tend to have a low-spatial resolution. Low-level percepts, on the other hand, preserve a higher spatial resolution from which we can model finer motion patterns. Using low-level percepts can leads to high-dimensionality video representations. To mitigate this effect and control the model number of parameters, we introduce a variant of the GRU model that leverages the convolution operations to enforce sparse connectivity of the model units and share parameters across the input spatial locations. We empirically validate our approach on both Human Action Recognition and Video Captioning tasks. In particular, we achieve results equivalent to state-of-art on the YouTube2Text dataset using a simpler text-decoder model and without extra 3D CNN features.

研究の動機と目的

• 既存のRCNが高レベルのCNN特徴量に依存するため、微細な空間的・時間的動きの詳細が失われるという制限を解消すること。
• 深層CNNにおける複数の空間解像度からの可視的知覚を活用することで、動画表現学習を改善すること。
• GRUアーキテクチャに畳み込み接続を導入することで、高次元の知覚を処理する際のモデルの複雑さを軽減すること。
• 追加の3D-CNN特徴量を用いずに、より単純なデコーダーを用いて動画理解タスクにおける性能を向上させることを示すこと。

提案手法

• 事前学習済みImageNet CNNの全層から可視的知覚を抽出し、低レベル（高解像度）および高レベル（識別的）な特徴量を併用する。
• 完全結合演算を畳み込み演算に置き換えた、新しい畳み込みGRUの変種を提案し、空間的場所間で局所的接続性とパラメータ共有を強制する。
• GRUはCNNの各層からの知覚を個別に処理し、時間的ダイナミクスをモデル化するとともに、空間的トポロジーを保持する。
• 動画系列における長距離の時間的依存関係を捉えるために、双方向GRUを用いる。
• 最終的な動画表現は、全知覚レベルにおけるGRUの最終隠れ状態を連結することで形成される。
• 検証NLLに基づく早期停止を用い、クロスエントロピー損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 高レベル特徴量に依存するのではなく、低レベルの知覚からの時間的変動をモデル化することで、動画表現学習が向上するか？
• RQ2 低レベル知覚の高次元性を、空間的・時間的情報を損なわずに軽減する方法は何か？
• RQ3 局所的接続性とパラメータ共有を強制する畳み込みGRUアーキテクチャは、標準的なRNNよりも動画タスクで優れた性能を示すか？
• RQ4 このマルチレベル知覚アプローチは、3D-CNN特徴量を一切使用しない状態でも、動画キャプションタスクで最先端性能を達成できるか？
• RQ5 提案手法は、統一的でより単純なデコーダー構造を用いて、行動認識と動画キャプションの両方で有効であるか？

主な発見

• 提案手法は、VGG-16エンコーダーベースラインと比較して、YouTube2Text動画キャプションベンチマークでBLEUスコアに10%の相対的改善を達成した。
• より単純なデコーダーを用い、3D-CNN特徴量を一切使用しない状態でも、YouTube2Textで最先端性能を達成した。複雑なアテンション機構や追加の3D-CNNエンコーダーを用いたモデルを上回った。
• UCF101行動認識タスクでは、上位層の知覚のみを用いたベースラインモデルと比較して、3.4%の絶対的向上を達成した。
• 双方向GRU-RCNエンコーダーは、すべての指標（BLEU、METEOR、CIDEr）でVGG-16エンコーダーを上回り、BLEUスコアで10%の相対的向上を示した。
• GoogleNetと提案されたGRU-RCNエンコーダーの組み合わせは、BLEUスコア0.4963を達成し、C3Dや階層的RNNデコーダーを用いたモデルを上回った。
• アブレーションスタディの結果、マルチレベル知覚モデリングが不可欠であることが確認され、高レベルの知覚のみを用いた場合、性能が最適でないことが示された。