[論文レビュー] Deep Temporal Linear Encoding Networks

Ali Diba, Vivek Sharma+1 more|arXiv (Cornell University)|Nov 21, 2016

Human Pose and Action Recognition参考文献 39被引用数 12

ひとこと要約

本稿では、希な動画セグメントを符号化することで、動画全体の空間時間的特徴をコン act かつ頑健な表現に集約する、新しいエンドツーエンドのディーパーニューラルネットワーク層である時系列線形符号化（TLE）を提案する。TLEは2Dおよび3D CNNのアクション認識性能を向上させ、HMDB51（71.1%）およびUCF101（95.6%）で最先端の性能を達成し、効率性と特徴の識別力向上を実現した。

ABSTRACT

The CNN-encoding of features from entire videos for the representation of human actions has rarely been addressed. Instead, CNN work has focused on approaches to fuse spatial and temporal networks, but these were typically limited to processing shorter sequences. We present a new video representation, called temporal linear encoding (TLE) and embedded inside of CNNs as a new layer, which captures the appearance and motion throughout entire videos. It encodes this aggregated information into a robust video feature representation, via end-to-end learning. Advantages of TLEs are: (a) they encode the entire video into a compact feature representation, learning the semantics and a discriminative feature space; (b) they are applicable to all kinds of networks like 2D and 3D CNNs for video classification; and (c) they model feature interactions in a more expressive way and without loss of information. We conduct experiments on two challenging human action datasets: HMDB51 and UCF101. The experiments show that TLE outperforms current state-of-the-art methods on both datasets.

研究の動機と目的

• 動画全体にわたる長距離の時系列依存関係をモデル化する点で、従来のCNNの限界を解消すること。
• 密な時系列サンプリングや固定長のクリップに依存する伝統的な2ストリームおよび3D CNNが抱える計算効率の悪さと情報損失を克服すること。
• モデルパラメータを増加させることなく、特徴表現を向上させる一般化可能な軽量な符号化層を開発すること。
• 長時間のシーケンスにわたる外観と動きのダイナミクスを捉える、エンドツーエンドで学習可能なグローバルな動画レベル特徴を可能にすること。
• 本手法の有効性と柔軟性を、HMDB51およびUCF101を含む多様なアーキテクチャとデータセットにおいて実証すること。

提案手法

• TLEは、動画全体の期間にわたって均等にサンプリングされた固定数の希な動画セグメント（フレームまたはクリップ）を処理する。
• 各セグメントは、共有重みを持つConvNet（2Dまたは3D）によって処理され、空間的および時間的特徴が抽出される。
• すべてのセグメントからの特徴は、学習可能な線形投影層を用いて集約され、コンパクトなグローバル動画埋め込みが形成される。
• 2次元空間での特徴相互作用を低次元空間でモデル化するために、双一次またはマックスプーリングベースの統合手法が用いられる。
• TLEは、バックプロパゲーションを用いたエンドツーエンド学習を可能にする、既存のCNNアーキテクチャ内での微分可能層として統合される。
• 事前学習済みの空間ストリームを追加することで、Places365からのシーンコンテキストなどの追加データストリームとの統合が可能となる。

Figure 1 : Temporal linear encoding for video classification. Given several segments of an entire video, be it either a number of frames or a number of clips, the model builds a compact video representation from the spatial and temporal cues they contain, through end-to-end learning. The ConvNets ap

実験結果

リサーチクエスチョン

• RQ1 学習可能なコンパクトな時系列符号化層は、エンドツーエンドのCNNにおけるグローバルな動画表現学習を改善できるか？
• RQ2 TLEは、iDT+FVなどの手作業特徴や最先端のディーパーニューラルネットワーク手法と比較して、標準的なアクション認識ベンチマークでどのように性能を発揮するか？
• RQ3 TLEは、2ストリームやC3Dネットワークを含む、さまざまなネットワークアーキテクチャにおいて、どれほど性能を向上させられるか？
• RQ4 TLEは、シーンコンテキストなどの補助的情報を効果的に統合できるか、これによりアクション認識の正確性が向上するか？
• RQ5 TLEは、プーリングや切り捨てによる情報損失を回避しつつ、モデルの複雑さを低減しながらも、識別力の高い特徴を維持できるか？

主な発見

• TLEはUCF101で95.6%、HMDB51で71.1%という最先端の精度を達成し、iDT+FV や2ストリームネットワークを上回った。
• TLE:BilinearはC3D ConvNetの性能をUCF101で86.3%、HMDB51で60.3%まで向上させ、元のC3Dおよび2ストリームベースラインを上回った。
• Places365の事前学習済み特徴を用いたシーンコンテキストの追加により、UCF101で83.8%、HMDB51で63.6%まで性能が向上し、補完的特徴学習の有効性が示された。
• 完全結合層と比較して、TLEはモデルパラメータを顕著に削減しながらも、表現力のある特徴相互作用を保持した。
• TLEは計算的に効率的で頑健であり、密なフレーム処理を伴わずに、効果的な長距離時系列モデリングを可能にした。
• 本手法は2Dおよび3D CNNを含むさまざまなアーキテクチャにうまく一般化でき、他の順序付きデータストリームへの応用も可能である。

Figure 2 : Our temporal linear encoding applied to the design of two-stream ConvNets [ 24 ] : spatial and temporal networks. The spatial network operates on RGB frames, and the temporal network operates on optical flow fields. The features maps from the spatial and temporal ConvNets for multiple suc