[論文レビュー] Deep Action- and Context-Aware Sequence Learning for Activity Recognition and Anticipation

Mohammad Sadegh Ali Akbarian, Fatemehsadat Saleh+4 more|arXiv (Cornell University)|Nov 17, 2016

Human Pose and Action Recognition参考文献 37被引用数 13

ひとこと要約

本論文では、動画ベースの行動認識および予測のため、文脈に配慮した特徴と行動に配慮した特徴を明示的に組み合わせるマルチステージLSTMアーキテクチャを提案する。CNNから得られるグローバルなシーンの文脈と局所的な行動活性化を活用し、新規の早期予測損失を導入することで、RGBフレームのみを用いてUCF-101およびJHMDB-21で最先端の精度を達成した。これは、1種類の特徴のみを用いるか、効果の低い特徴融合戦略を採用する手法よりも優れている。

ABSTRACT

Action recognition and anticipation are key to the success of many computer vision applications. Existing methods can roughly be grouped into those that extract global, context-aware representations of the entire image or sequence, and those that aim at focusing on the regions where the action occurs. While the former may suffer from the fact that context is not always reliable, the latter completely ignore this source of information, which can nonetheless be helpful in many situations. In this paper, we aim at making the best of both worlds by developing an approach that leverages both context-aware and action-aware features. At the core of our method lies a novel multi-stage recurrent architecture that allows us to effectively combine these two sources of information throughout a video. This architecture first exploits the global, context-aware features, and merges the resulting representation with the localized, action-aware ones. Our experiments on standard datasets evidence the benefits of our approach over methods that use each information type separately. We outperform the state-of-the-art methods that, as us, rely only on RGB frames as input for both action recognition and anticipation.

研究の動機と目的

• 既存の行動認識手法が文脈を無視するか、過剰に依存するという限界を是正するため、文脈に配慮した特徴と行動に配慮した特徴を統合すること。
• タイムリーな分類を促進するように設計された新しい損失関数を用いることで、早期かつ正確な予測を可能にする行動予測の改善。
• 光流または手作業で設計された特徴を必要としない、明示的なグローバル文脈と局所的行動表現の特徴融合を実現する効率的で効果的なディープラーニングフレームワークの開発。
• 構造的なマルチステージアーキテクチャを用いて文脈と行動特徴を統合することで、単一モodalまたは単純な特徴融合アプローチよりも優れた性能が得られることの実証。

提案手法

• 本手法は、全動画フレームに適用された事前学習済みCNNの最終層から文脈に配慮した特徴を抽出し、グローバルなシーン情報を捉える。
• 別個のCNNを用いてクラス固有の活性化を得ることで、行動が発生する可能性の高い領域を強調する行動に配慮した特徴を生成する。
• 新規のマルチステージLSTMアーキテクチャは、まず文脈に配慮した特徴を処理し、その後で行動に配慮した特徴と融合して最終予測を生成する。
• モデルは、初期時刻ステップでの誤った予測に対してペナルティを与えるカスタム損失関数を採用しており、シーケンス処理の初期段階で可能な限り正確な意思決定を促進する。
• 行動予測の目的では、ソフトマックス確率の時間方向平均プーリングを用いることで、ノイズの多いまたは早期の予測に対する耐性を高める。
• フレームサンプリング戦略と特徴融合戦略に関するアブレーションスタディを含め、UCF-101およびJHMDB-21でRGBフレームのみを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 構造的なディープラーニングアーキテクチャを用いて文脈に配慮した特徴と行動に配慮した特徴を統合することで、行動認識および予測性能が向上するか？
• RQ2 まず文脈を処理し、その後で行動固有の特徴を統合するマルチステージLSTMは、並列処理または単一ステージでの逐次処理を行うモデルよりも優れた性能を示すか？
• RQ3 早期予測を促進する新しい損失関数は、標準的な交差エントロピー損失と比較して、行動予測の精度をどの程度向上させるか？
• RQ4 特に認識精度と予測速度の観点から、光流を用いない最先端の手法と比較して、本手法の性能はどの程度か？

主な発見

• 提案手法は、UCF-101（83.4％）およびJHMDB-21で、RGBフレームのみを用いる手法の中で最先端の行動認識精度を達成した。
• 文脈に配慮した特徴と行動に配慮した特徴のマルチステージ統合は、単一の特徴タイプのみを用いるモデルや、単純な連結ベースの特徴融合アプローチよりも顕著な性能向上をもたらした。
• 動画の最初の50フレームを用いる場合、UCF-101で83.4％の精度を達成し、30フレームに短縮しても性能低下が最小限に抑えられ（81.9％）、良好な耐性を示した。
• 提案された早期予測損失は、行動予測性能を顕著に向上させた。時間方向の平均プーリングにより、さらに耐性と精度が向上した。
• 光流を組み込むと、UCF-101で88.7％の精度を達成し、光流を用いる大多数のベースラインを上回ったが、二重ストリーム統合モデルを除いては、すべてのベースラインを上回った。
• 実験の結果、K=30を超えるとフレームサンプリング戦略の影響が最小限に抑えられ、十分な文脈が確保されている場合にモデルが入力フレーム選択に対して頑健であることが示された。