[論文レビュー] Hierarchical Recurrent Neural Network for Video Summarization

Bin Zhao, Xuelong Li+1 more|arXiv (Cornell University)|Apr 28, 2019

Video Analysis and Summarization参考文献 35被引用数 4

ひとこと要約

本稿では、動画要約のための2層階層型再帰ニューラルネットワークH-RNNを提案する。このモデルは、内部サブショットおよびサブショット間の時間的依存関係を別々にモデル化する。短い動画サブショットには単方向LSTMを、サブショットレベルの依存関係には双方向LSTMを用いることで、計算量を削減しつつ長距離時間的構造を効果的に捉えることができ、CombinedおよびVTWデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Exploiting the temporal dependency among video frames or subshots is very important for the task of video summarization. Practically, RNN is good at temporal dependency modeling, and has achieved overwhelming performance in many video-based tasks, such as video captioning and classification. However, RNN is not capable enough to handle the video summarization task, since traditional RNNs, including LSTM, can only deal with short videos, while the videos in the summarization task are usually in longer duration. To address this problem, we propose a hierarchical recurrent neural network for video summarization, called H-RNN in this paper. Specifically, it has two layers, where the first layer is utilized to encode short video subshots cut from the original video, and the final hidden state of each subshot is input to the second layer for calculating its confidence to be a key subshot. Compared to traditional RNNs, H-RNN is more suitable to video summarization, since it can exploit long temporal dependency among frames, meanwhile, the computation operations are significantly lessened. The results on two popular datasets, including the Combined dataset and VTW dataset, have demonstrated that the proposed H-RNN outperforms the state-of-the-arts.

研究の動機と目的

• 長動画における標準的なRNNが長距離時間的依存関係をモデル化する際に抱える制限を解消すること。
• フレーム内のサブショットおよび全動画内のサブショットという階層的動画構造を活用して、動画要約を改善すること。
• 長動画シーケンスに直接標準的なRNNを適用するのと比較して、計算コストと情報損失を低減すること。
• 動画要約における表現学習のための非線形適合能力を向上させること。
• 従来のRNNベースの動画要約モデルよりもより効果的かつ効率的なアーキテクチャを開発すること。

提案手法

• モデルは2層階層型RNNを採用する：1層目は個々の動画サブショットを処理する単方向LSTMである。
• 各サブショットは元の動画から均等に切り出され、1層目のLSTMの最終隠れ状態がサブショットレベルの表現として抽出される。
• 2層目はサブショット表現の系列を処理する双方向LSTMであり、前向きおよび後向きのサブショット間依存関係をモデル化する。
• 双方向LSTMの最終出力は、各サブショットが要約におけるキーサブショットとして選択される確率を予測するために用いられる。
• 階層的設計により、有効な時間ステップを短くすることで長距離時間的モデリングが可能となり、情報損失と計算負荷が低減される。
• キーサブショット選択の最適化を目的として、交差エントロピー損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 標準的なRNNと比較して、階層型RNN構造は長動画シーケンスにおける長距離時間的依存関係をよりよくモデル化できるか？
• RQ2 サブショット内およびサブショット間の時間的モデリングを分離することで、動画要約の性能が向上するか？
• RQ3 階層的設計により、標準的なRNNと比較して計算コストを低減しつつ、精度を維持または向上できるか？
• RQ4 サブショット間依存関係を捉える際、2層目の双方向LSTMは単方向または単一層のRNNと比較してどのように優れているか？
• RQ5 階層的構造は、動画要約タスクにおける非線形適合能力をどの程度向上させるか？

主な発見

• H-RNNは、CombinedおよびVTWデータセットの両方で、vsLSTMやdppLSTMといった最先端手法を上回る性能を発揮する。
• VTWデータセットでは、2次元および3次元CNNを組み合わせたHD-VSよりも優れた性能を達成しており、これは優れた長シーケンスモデリングに起因する。
• 2層目の双方向LSTMは、単方向LSTMと比較して顕著に性能向上を示しており、前向きおよび後向きの文脈を両方モデル化することが重要であることを確認している。
• 固定80フレーム入力長の単一および双方向LSTMと比較して、H-RNNは優れた結果を達成しており、平均プーリングや均等サンプリングと比較して階層処理の優位性が示されている。
• 階層的構造により、情報損失と計算負担が低減されるとともに非線形適合能力が向上し、要約品質が向上している。
• H-RNNが生成した例示要約は、人間がアノテートしたキーサブショットと強く一致しており、人間の動画重要度認識と良好に一致していることが示された。