[論文レビュー] Learning from Videos with Deep Convolutional LSTM Networks

Logan Courtney, R.S. Sreenivas|arXiv (Cornell University)|Apr 9, 2019

Human Pose and Action Recognition参考文献 86被引用数 4

ひとこと要約

本論文では、2次元畳み込みをLSTMユニット内に統合することで、複数スケールの空間的・時間的パターンを捉える、深層畳み込みLSTMネットワークを提案する。LRS2で事前学習した場合、LRW唇読み取りデータセット（85.2%の正確性）で最先端性能を達成しており、アーキテクチャ上の事前設計なしに関連する空間的・時間的スケールを自動で同定できる能力を示している。

ABSTRACT

This paper explores the use of convolution LSTMs to simultaneously learn spatial- and temporal-information in videos. A deep network of convolutional LSTMs allows the model to access the entire range of temporal information at all spatial scales of the data. We describe our experiments involving convolution LSTMs for lipreading that demonstrate the model is capable of selectively choosing which spatiotemporal scales are most relevant for a particular dataset. The proposed deep architecture also holds promise in other applications where spatiotemporal features play a vital role without having to specifically cater the design of the network for the particular spatiotemporal features existent within the problem. For the Lip Reading in the Wild (LRW) dataset, our model slightly outperforms the previous state of the art (83.4% vs. 83.0%) and sets the new state of the art at 85.2% when the model is pretrained on the Lip Reading Sentences (LRS2) dataset.

研究の動機と目的

• 動画系列における空間的および時間的特徴を統合的にモデル化できる深層ニューラルネットワークアーキテクチャの開発。
• 畳み込みLSTMが、特定のタスクに特化したアーキテクチャ的バイアスなしに、関連する空間的・時間的スケールを自動で学習できるかの調査。
• 統一された空間的・時間的学習フレームワークを通じて、短期的ダイナミクスと長期的コンテキストの両方を活用することで、唇読み性能の向上。
• 唇読みのような動画理解タスクにおいて、どの空間的・時間的スケールが最も重要であるかを解明する。

提案手法

• 2次元畳み込みをLSTMセル内に統合した深層畳み込みLSTM層のスタックを採用し、各時刻で空間的特徴を処理する。
• 2次元畳み込みと畳み込みLSTMを統合することで、複数の空間スケールにわたる階層的空間的・時間的表現を学習可能となる。
• 内部状態を異なる間隔（T = 1, 3, 5, 10, 15フレーム）で定期的にリセットすることで感度分析を実施し、各空間解像度における時間的コンテキストの重要性を評価。
• 特徴マップを複数スケール（s/2, s/4, s/8, s/16）で処理するようにネットワークを設計し、sは元の空間サイズを表す。
• 訓練の安定化と性能向上を目的に、2Dおよび3D畳み込みと同様に残差接続を適用。
• モデルはLRWデータセットで微調整・評価され、状態リセット間隔のアブレーションスタディにより、時間的依存性の重要性を評価。

実験結果

リサーチクエスチョン

• RQ1 主に畳み込みLSTMから構築された深層アーキテクチャは、唇読みのような動画理解タスクで既存モデルを上回る性能を発揮できるか？
• RQ2 正確な唇読みに最も重要な空間的スケールと時間的コンテキスト長（空間解像度と時間的長さ）は何か？
• RQ3 畳み込みLSTMの使用により、事前のアーキテクチャ設計なしに関連する空間的・時間的特徴を自動で発見できるか？
• RQ4 3D畳み込みと双方向LSTMを組み合わせたハイブリッドアーキテクチャと比較して、畳み込みLSTMモデルの性能はどの程度か？
• RQ5 畳み込みLSTMにおける隠れ状態同士の接続は、異なる空間スケールで性能にどの程度寄与しているか？

主な発見

• LRS2で事前学習した場合、LRWデータセットで85.2%という新たな最先端の正確性を達成し、以前の最先端（83.0%）を上回った。
• 事前学習なしでも元のLRWデータセットで83.4%をわずかに上回り、優れた一般化性能を示した。
• s/16スケールでは時間的コンテキストを除去すると性能が著しく低下し、粗い空間解像度において長期的時間的依存性が極めて重要であることが示された。
• s/8スケールでは、約10フレームの時間的コンテキストが保持されている場合にのみ高い性能を示し、中程度の時間的シーケンスを捉えていることが示唆された。
• s/2スケールでは、1フレームごとに状態をリセットすると性能が最も敏感に低下し、高空間解像度における細かい短期的ダイナミクスが唇読みに不可欠であることを確認した。
• s/4スケールでは、状態リセット頻度に関係なく高い性能を維持しており、このスケールにおける隠れ状態同士の接続が畳み込み演算で既に捉えられている内容を超えて寄与しているとは限らないことが示された。