[論文レビュー] RGB Stream Is Enough for Temporal Action Detection

Chenhao Wang, Hongxiang Cai+2 more|arXiv (Cornell University)|Jul 9, 2021

Human Pose and Action Recognition参考文献 59被引用数 18

ひとこと要約

この論文は、高精度な時系列行動検出において光流が不要であることを示しており、画像レベルのデータ拡張（ILDA）を用いた単一のRGBストリームが最先端の性能を達成することを示している。提案された1段階検出器であるDaoTADは、GTX 1080 Tiで6668 fpsの推論速度を達成しながら、THUMOS14における2ストリームモデルと同等の精度を実現している。

ABSTRACT

State-of-the-art temporal action detectors to date are based on two-stream input including RGB frames and optical flow. Although combining RGB frames and optical flow boosts performance significantly, optical flow is a hand-designed representation which not only requires heavy computation, but also makes it methodologically unsatisfactory that two-stream methods are often not learned end-to-end jointly with the flow. In this paper, we argue that optical flow is dispensable in high-accuracy temporal action detection and image level data augmentation (ILDA) is the key solution to avoid performance degradation when optical flow is removed. To evaluate the effectiveness of ILDA, we design a simple yet efficient one-stage temporal action detector based on single RGB stream named DaoTAD. Our results show that when trained with ILDA, DaoTAD has comparable accuracy with all existing state-of-the-art two-stream detectors while surpassing the inference speed of previous methods by a large margin and the inference speed is astounding 6668 fps on GeForce GTX 1080 Ti. Code is available at \url{https://github.com/Media-Smart/vedatad}.

研究の動機と目的

• 高精度な時系列行動検出において光流が不可欠であるという仮定に挑戦すること。
• 単一ストリームモデルにおいて光流が欠如している場合に、画像レベルのデータ拡張（ILDA）がその欠如を補うことができるかどうかを調査すること。
• 2ストリームモデルの性能に匹敵する、RGB入力に依存する高速で効率的な1段階時系列行動検出器を設計すること。
• RGBのみを用いたエンドツーエンドの学習が、精度を損なわず推論速度を上回ることを実証すること。

提案手法

• 物体検出におけるRetinaNetをインspirationとして、単一のRGBストリームに基づく1段階時系列行動検出器であるDaoTADを提案する。
• 特徴の一般化を向上させ、光流が存在しない場合の性能低下を防ぐために、ランダムクロップ、カラージェッタ、ミックスアップ、カットアウトを含む画像レベルのデータ拡張（ILDA）を採用する。
• 3次元特徴マップを空間的に圧縮しながらも時系列ダイナミクスを保持するため、平均プーリングを用いた空間圧縮モジュール（SRM）を導入する。
• 学習可能な1次元畳み込みを用いて、複数スケールの時系列特徴ピラミッドを生成するための時系列ダウンサンプリングモジュール（TDM）を提案する。
• スケール間での正例の分布をよりバランスよく保つために、1位置あたり5つのアノテーションを学習可能な設定で採用する。
• 過学習を軽減しつつ低レベル特徴を保持するため、訓練中にResNet-50 I3Dバックボーンのうち2段階のみを凍結する。

実験結果

リサーチクエスチョン

• RQ1 単一のRGBストリーム検出器は、光流なしで時系列行動検出において最先端の性能を達成できるか？
• RQ2 画像レベルのデータ拡張（ILDA）は、光流が欠如している状況でどのように高精度を実現するのか？
• RQ3 アノテーション設定の設計と特徴ピラミッドモジュールの設計が、1ストリームモデルにおける検出精度に与える影響は何か？
• RQ4 RGBストリームに依存する1段階検出器は、従来の2ストリーム手法と比較して著しく高速な推論を達成できるか？
• RQ5 RGBのみを用いたエンドツーエンドの学習は、2ストリームモデルの精度を同等または上回るのに十分か？

主な発見

• ILDAで訓練した場合、DaoTADはTHUMOS14で[0.3:0.1:0.7] IoUの平均mAPが42.5%に達し、最先端の2ストリーム検出器と同等の性能を示した。
• ILDAなしではmAPは42.5%から37.1%に低下し、光流の欠如を補うためにILDAが不可欠であることが実証された。
• ランダムクロップ単体でも他の拡張法と比較してmAPが3.3%向上し、4つのILDA技術は相乗効果を示す高い相性を示した。
• DaoTADはGeForce GTX 1080 Tiで6668 fpsの推論速度を達成し、従来の手法を著しく上回った。
• 1位置あたり5つのアノテーションを採用した場合、RetinaNetのデフォルトである3つのアノテーションよりも優れた性能を示した。これは、スケール間での正例の割り当てがよりバランスよくなったためである。
• 時系列ダウンサンプリングモジュールの最適なチャネル数は512であり、1024に増加させると過学習が生じ、性能が低下した。