[論文レビュー] Hierarchical Contrastive Motion Learning for Video Action Recognition

Xitong Yang, Xiaodong Yang+4 more|arXiv (Cornell University)|Jul 20, 2020

Human Pose and Action Recognition参考文献 77被引用数 12

ひとこと要約

本稿では、自己教師ありフレームワークとして階層的対照的運動学習を提案する。この手法は、対照学習を用いて複数の抽象レベルで段階的に運動表現を学習する。低レベルでの運動特徴が、前のレベルの未来の特徴を予測するように制約を課すことで、低レベルの運動と高レベルの行動認識の間の意味的ギャップを埋め、光流体や教師あり事前学習を用いずに4つのベンチマークで最先端の性能を達成する。

ABSTRACT

One central question for video action recognition is how to model motion. In this paper, we present hierarchical contrastive motion learning, a new self-supervised learning framework to extract effective motion representations from raw video frames. Our approach progressively learns a hierarchy of motion features that correspond to different abstraction levels in a network. This hierarchical design bridges the semantic gap between low-level motion cues and high-level recognition tasks, and promotes the fusion of appearance and motion information at multiple levels. At each level, an explicit motion self-supervision is provided via contrastive learning to enforce the motion features at the current level to predict the future ones at the previous level. Thus, the motion features at higher levels are trained to gradually capture semantic dynamics and evolve more discriminative for action recognition. Our motion learning module is lightweight and flexible to be embedded into various backbone networks. Extensive experiments on four benchmarks show that the proposed approach consistently achieves superior results.

研究の動機と目的

• 光流体や教師あり事前学習に依存せずに、生動画フレームから効果的な運動表現を学ぶ課題に対処すること。
• 低レベルの運動特徴と高レベルの行動認識タスクの間の意味的ギャップを埋めること。
• 階層的で対照的な学習フレームワークを通じて、外見と運動特徴のマルチレベル融合を可能にすること。
• さまざまなバックボーンネットワークに簡単に統合可能な軽量で柔軟なモジュールを開発すること。

提案手法

• フレームワークは、複数の特徴抽象化レベルで下位から上位へと段階的に運動表現を学ぶためのサイドネットワークブランチを用いる。
• 各レベルで、運動特徴が前のレベルの未来の特徴を予測するように、対照的損失が適用され、明示的な自己教師あり信号が得られる。
• ポジティブペアは、予測された特徴と真値特徴の同一の空間的・時系列的位置として定義される。ネガティブペアには、異なる動画からの空間的・時系列的および容易なネガティブ例が含まれる。
• 初期段階で、動画フレームの再構成を補助的な自己教師ありタスクとして用いることで、運動学習を初期化し、初期の運動手がかりを提供する。
• 運動特徴は残差接続を通じてバックボーンに統合され、外見と運動特徴のマルチレベル融合が可能になる。
• 訓練後、運動学習モジュールは削除され、主ネットワーク内には強化された運動特徴のみが残る。

実験結果

リサーチクエスチョン

• RQ1 光流体や教師あり事前学習を用いずに、自己教師ありフレームワークが判別性の高い運動表現を学習できるか？
• RQ2 階層的対照的学習は、低レベルの運動と高レベルの行動認識の間の整合性をどのように向上させるか？
• RQ3 外見と運動特徴のマルチレベル統合が、動画行動認識性能に与える影響は何か？
• RQ4 ピクセル単位または短時間の運動監視と比較して、異なる抽象レベルでの対照的学習はどのように異なるか？
• RQ5 本手法は、タスク固有の微調整なしに、多様な動画ベンチマークに一般化可能か？

主な発見

• 提案手法は、光流体や教師あり事前学習を一切使用せず、Kinetics-400、Something-Something V1/V2、UCF-101で最先端の性能を達成した。
• R2D-50を用いたKinetics-400では、トップ1正確度85.1%を達成し、先行の自己教師あり手法を大きく上回った。
• Something-Something V2では、トップ1正確度89.7%を達成し、微細な時間的モデリングにおいて優れた性能を示した。
• アブレーションスタディの結果、マルチレベル統合を伴う階層的対照的学習は、単一レベルまたは非対照的ベースラインと比較して顕著に性能向上を示した。
• 本手法は優れた汎化性を示し、Kinetics-400の事前学習から微調整した場合、UCF-101で93.4%の正確度を達成し、既存の非教師あり事前学習手法を上回った。