[論文レビュー] Hierarchical Recurrent Neural Encoder for Video Representation with Application to Captioning

Pingbo Pan, Zhongwen Xu+3 more|arXiv (Cornell University)|Nov 11, 2015

Multimodal Machine Learning Applications参考文献 7被引用数 42

ひとこと要約

本論文は、複数のフレーム・チャンクレベルにわたるLSTMのスタックを用いて、動画内の長距離時系列依存関係をモデル化する深層学習フレームワーク、階層的再帰的ニューラルエンコーダー（HRNE）を提案する。このアプローチにより、効率的かつ効果的な動画表現学習が可能となり、動画キャプションベンチマークにおいて最先端の性能を達成する。RGB入力のみでさえも、RGBと3次元畳み込みネットワーク（3D ConvNet）の統合ストリームを用いるモデルを上回る結果を示している。

ABSTRACT

Recently, deep learning approach, especially deep Convolutional Neural Networks (ConvNets), have achieved overwhelming accuracy with fast processing speed for image classification. Incorporating temporal structure with deep ConvNets for video representation becomes a fundamental problem for video content analysis. In this paper, we propose a new approach, namely Hierarchical Recurrent Neural Encoder (HRNE), to exploit temporal information of videos. Compared to recent video representation inference approaches, this paper makes the following three contributions. First, our HRNE is able to efficiently exploit video temporal structure in a longer range by reducing the length of input information flow, and compositing multiple consecutive inputs at a higher level. Second, computation operations are significantly lessened while attaining more non-linearity. Third, HRNE is able to uncover temporal transitions between frame chunks with different granularities, i.e., it can model the temporal transitions between frames as well as the transitions between segments. We apply the new method to video captioning where temporal information plays a crucial role. Experiments demonstrate that our method outperforms the state-of-the-art on video captioning benchmarks. Notably, even using a single network with only RGB stream as input, HRNE beats all the recent systems which combine multiple inputs, such as RGB ConvNet plus 3D ConvNet.

研究の動機と目的

• 標準のRNNが長いシーケンスに対して困難を抱える中で、動画表現における長距離時系列依存関係をモデル化する課題に取り組むこと。
• スタックされたLSTMの非効率性を回避しつつ、計算コストを低減し、非線形性を高める動画表現学習のための手法を提供すること。
• フレームレベルとチャンクレベルの両動的特性を捉えるために、動画のセグメント内およびセグメント間の複数のスケールの時間的構造をモデル化すること。
• キャプション生成を超えて、他の動画分析タスクにも一般化可能な汎用的な動画表現フレームワークの開発を目的とする。

提案手法

• HRNEは階層的アーキテクチャを採用し、短い動画クリップ（フレーム・チャンク）を下位レベルのLSTMでエンコードし、その隠れ状態を上位レベルのLSTMに供給することで、長距離依存関係をモデル化する。
• フレームレベルの表現を統合してセグメントレベルのベクトルにし、トップレベルのLSTMへの入力シーケンス長を著しく短縮することで、効率性と長距離モデリング性能を向上させる。
• 階層的スタックにより非線形性が強化され、計算コストを大きく増加させることなく、単純な深さのスタックよりも表現力の高い特徴学習が可能になる。
• エンコーダ・デコーダフレームワークを用いてエンドツーエンドで学習し、生成中の関連する動画セグメントに注目できるように、デコーダにアテンション機構を追加する。
• 光学フローまたは3次元畳み込みネットワーク（3D ConvNets）を必要とせず、RGBフレームからのみ動画表現を抽出するため、計算効率が非常に高い。
• 階層的設計により、例えば1つの行動内の動きや、異なる行動間の遷移といった、異なるスケールの時間的遷移をモデル化できる。

実験結果

リサーチクエスチョン

• RQ1 標準のRNNと比較して、計算コストを低減しつつ、階層的再帰アーキテクチャが動画内の長距離時系列依存関係を効果的にモデル化できるか。
• RQ2 モデルの深さや推論コストを増加させずに、LSTMの階層的スタックが非線形性と表現力の容量をどのように向上させるか。
• RQ3 HRNEは、動画セグメント内およびセグメント間の複数のスケールの時間的構造をモデル化でき、動画理解タスクの性能を向上させられるか。
• RQ4 HRNEは、RGB入力のみで動画キャプションにおいて最先端の性能を達成でき、RGB + 3D ConvNet や光学フローを統合した入力を利用するモデルを上回るか。

主な発見

• MSVDデータセットでは、HRNEがMETEORスコア33.1を達成し、RGB + 3D ConvNet を使用するような先行手法をすべて上回った。
• より困難なM-VADデータセットでは、HRNEはMETEORスコア5.8%を達成し、S2VTやSAを上回り、アテンション機構を追加することで6.8%まで向上した。
• 光学フローも3D ConvNetsも使用せず、RGB入力のみでさえも、マルチストリーム入力を用いるシステムを上回る性能を示しており、効率性と有効性の両面で優れていることを示している。
• 階層的設計により、トップレベルのLSTMへの実効的なシーケンス長が短縮され、長距離モデリングが向上しながらも、計算コストは維持されている。
• 多スケールの時間的遷移を捉える能力のおかげで、定性的な例でもより一貫性があり正確な動画記述が得られている。
• データオーグメンテーションやマルチデータセット学習を用いない状態でも、HRNEの性能は安定しており、一般化能力と強力な特徴学習能力を示している。