[論文レビュー] TACNet: Transition-Aware Context Network for Spatio-Temporal Action Detection

Lin Song, Shiwei Zhang+2 more|arXiv (Cornell University)|May 31, 2019

Human Pose and Action Recognition参考文献 24被引用数 8

ひとこと要約

TACNetは、再帰的SSDベースの検出器と遷移を認識する分類器を用いて、長期間の時間的文脈を統合することで、空間時間的アクション検出を向上させる遷移認識文脈ネットワークを提案する。未編集のUCF101-24で最先端の性能を達成し、0.5 IoU閾値における動画mAPで従来手法を3.7%上回った。

ABSTRACT

Current state-of-the-art approaches for spatio-temporal action detection have achieved impressive results but remain unsatisfactory for temporal extent detection. The main reason comes from that, there are some ambiguous states similar to the real actions which may be treated as target actions even by a well-trained network. In this paper, we define these ambiguous samples as "transitional states", and propose a Transition-Aware Context Network (TACNet) to distinguish transitional states. The proposed TACNet includes two main components, i.e., temporal context detector and transition-aware classifier. The temporal context detector can extract long-term context information with constant time complexity by constructing a recurrent network. The transition-aware classifier can further distinguish transitional states by classifying action and transitional states simultaneously. Therefore, the proposed TACNet can substantially improve the performance of spatio-temporal action detection. We extensively evaluate the proposed TACNet on UCF101-24 and J-HMDB datasets. The experimental results demonstrate that TACNet obtains competitive performance on JHMDB and significantly outperforms the state-of-the-art methods on the untrimmed UCF101-24 in terms of both frame-mAP and video-mAP.

研究の動機と目的

• 曖昧な遷移状態による時間的範囲の正確な検出が困難であるという従来手法の限界を解消すること。
• 長期間の時間的文脈情報を活用することで、空間時間的アクション検出を向上させること。
• 遷移状態が実際のアクションとして誤分類されることで生じる時間的誤差を低減すること。
• 空間的検出と時間的文脈の両方を統合的にモデル化し、一般化性能を向上させる統合フレームワークの開発。

提案手法

• 時間的文脈検出器は、マルチスケールの双方向Conv-LSTMユニットを組み込んだ変更されたSSDフレームワークを用い、時間的複雑度が一定のまま長期間の時間的文脈を符号化する。
• 遷移認識分類器は、同時にアクションと遷移状態を分類することで、曖昧なサンプルからの時間的誤差を低減する。
• モデルの収束を高速化するために、共通かつ微分可能なモードスキームが導入された。
• ネットワークは未編集動画上でエンドツーエンドに訓練され、フレームレベルの検出と時間的チューブ生成が時間的リンクによって実現される。
• 長期間の文脈は、動画クリップの再帰的処理により捉えられ、'ロングジャンプ'のような延長されたアクション時間のモデル化を可能にする。
• 本手法はUCF101-24およびJ-HMDBで評価され、フレームレベルおよび動画レベルのmAPメトリクスが用いられた。

実験結果

リサーチクエスチョン

• RQ1 時間的複雑度が一定である条件下で、空間時間的アクション検出に長期間の時間的文脈を効率的にモデル化する方法は何か？
• RQ2 遷移状態を区別することで、時間的局所化の正確性はどの程度向上するか？
• RQ3 統合されたネットワークアーキテクチャが、空間的検出と時間的文脈モデル化を同時に最適化できるか？
• RQ4 未編集動画データセットにおいて、本手法は最先端のアプローチと比較してどのように差をつけるか？

主な発見

• TACNetは、未編集のUCF101-24で0.5 IoU閾値における動画mAPが58.3%を達成し、前回の最先端手法ACTを3.7ポイント上回った。
• 同じデータセットにおいて、T-CNNと比較してフレームmAPが28.5%、動画mAPが30.4%向上した。
• 遷移認識分類器の導入により、以前はACTで主な誤差要因であった時間的誤差が35%〜40%低減された。
• ResNet-50およびDSSDバックボーンの使用により性能がさらに向上し、UCF101-24における動画mAPは79.2%に達した。
• 編集済みのJ-HMDBデータセットでもTACNetは競争力のある性能を示し、異なる動画タイプにわたる頑健性を確認した。
• アブレーションスタディにより、時間的文脈検出器と遷移認識分類器の両方が全体の性能向上に顕著な貢献をしていることが確認された。