[論文レビュー] Context-LSTM: a robust classifier for video detection on UCF101

Dengshan Li, Rujing Wang|arXiv (Cornell University)|Mar 13, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文では、Context-LSTMと呼ばれる軽量なLSTMベースのアーキテクチャを提案する。このモデルは、UCF101の行動認識ベンチマークで最先端のトップ-1正解率を達成するとともに、大幅に訓練時間とGPUメモリ使用量を削減する。ReLU、バッチ正則化、マックスプーリングを組み合わせたLSTMブロックを段重ねにすることで、長距離の時系列依存関係を効率的に捉え、人間の時系列的推論に類似した堅牢な動画行動検出を実現する。

ABSTRACT

Video detection and human action recognition may be computationally expensive, and need a long time to train models. In this paper, we were intended to reduce the training time and the GPU memory usage of video detection, and achieved a competitive detection accuracy. Other research works such as Two-stream, C3D, TSN have shown excellent performance on UCF101. Here, we used a LSTM structure simply for video detection. We used a simple structure to perform a competitive top-1 accuracy on the entire validation dataset of UCF101. The LSTM structure is named Context-LSTM, since it may process the deep temporal features. The Context-LSTM may simulate the human recognition system. We cascaded the LSTM blocks in PyTorch and connected the cell state flow and hidden output flow. At the connection of the blocks, we used ReLU, Batch Normalization, and MaxPooling functions. The Context-LSTM could reduce the training time and the GPU memory usage, while keeping a state-of-the-art top-1 accuracy on UCF101 entire validation dataset, show a robust performance on video action detection.

研究の動機と目的

• 動画行動検出モデルにおける訓練時間とGPUメモリ消費量の低減を目的とする。
• 簡素化されたアーキテクチャであるにもかかわらず、UCF101ベンチマークでの高い正解率を維持することを目的とする。
• 再帰的LSTM構造が動画レベルの行動認識にどの程度有効であるかを調査することを目的とする。
• 人間の時系列的認識に類似した行動認識を実現するモデルを設計することを目的とする。
• 最小限の計算コストで競争力のあるパフォーマンスを達成することを目的とする。

提案手法

• モデルは、順序付きの動画特徴を処理するため、LSTMブロックを段重ねにしたアーキテクチャを用いる。
• スタックされたLSTMブロック間でセル状態と隠れ状態の流れを保持することで、長期依存関係のモデル化を実現する。
• ブロック間接続部にReLU活性化関数、バッチ正則化、マックスプーリングを適用し、特徴学習と次元制御を向上させる。
• 効率的な訓練と推論を実現するため、PyTorchでアーキテクチャを実装する。
• 時間的特徴は動画フレームから抽出され、順次Context-LSTMに供給され、分類に使用される。
• 標準的な交差エントロピー損失を用いて、UCF101データセット上でエンドツーエンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 単純なLSTMベースのアーキテクチャは、訓練時間とメモリ使用量を削減しながらUCF101で競争力のあるパフォーマンスを達成できるか？
• RQ2 正則化およびプーリングを組み合わせた段重ねLSTM構造は、長距離の時系列依存関係をどの程度効果的にモデル化できるか？
• RQ3 Context-LSTMは、動画行動認識において、どの程度人間の時系列的推論に類似しているか？
• RQ4 モデルの複雑さとパフォーマンスのトレードオフは、動画検出タスクにおいてどの程度顕在化するか？
• RQ5 軽量な再帰的モデルは、Two-stream や C3D といったより複雑なアーキテクチャをUCF101で凌駆または同等に上回ることができるか？

主な発見

• Context-LSTMは、UCF101の完全な検証セットにおいて、最先端の手法と同等のトップ-1正解率を達成する。
• 標準的な動画認識モデルと比較して、訓練時間とGPUメモリ使用量を削減する。
• ブロック接続部にReLU、バッチ正則化、マックスプーリングを統合することで、特徴表現の質とモデルの安定性が向上する。
• 段重ねLSTM構造は、長時間の動画シーケンスにわたり深い時系列特徴を効果的に捉える。
• UCF101データセットの多様な行動クラスにわたり、堅牢なパフォーマンスを示す。
• その単純さと低い計算コストにもかかわらず、モデルは優れた一般化性能を示す。