[論文レビュー] Learning Discriminative Motion Features Through Detection

Gedas Bertasius, Christoph Feichtenhofer+3 more|arXiv (Cornell University)|Dec 11, 2018

Human Pose and Action Recognition参考文献 49被引用数 18

ひとこと要約

本稿では、1フレームの人体ポーズを予測するために、時間的に分離されたフレームからの特徴量を用いることで学習される、判別的な運動特徴（DiMoFs）を提案する。空間的・時間的可変畳み込みを活用することで、モデルはポーズ推定、キーポイント追跡、アクション認識などの下流タスクを向上させる運動オフセット（DiMoFs）を学習する。3Dバックボーンと組み合わせることで、より小規模な事前学習でも最先端の性能を達成する。

ABSTRACT

Despite huge success in the image domain, modern detection models such as Faster R-CNN have not been used nearly as much for video analysis. This is arguably due to the fact that detection models are designed to operate on single frames and as a result do not have a mechanism for learning motion representations directly from video. We propose a learning procedure that allows detection models such as Faster R-CNN to learn motion features directly from the RGB video data while being optimized with respect to a pose estimation task. Given a pair of video frames---Frame A and Frame B---we force our model to predict human pose in Frame A using the features from Frame B. We do so by leveraging deformable convolutions across space and time. Our network learns to spatially sample features from Frame B in order to maximize pose detection accuracy in Frame A. This naturally encourages our network to learn motion offsets encoding the spatial correspondences between the two frames. We refer to these motion offsets as DiMoFs (Discriminative Motion Features). In our experiments we show that our training scheme helps learn effective motion cues, which can be used to estimate and localize salient human motion. Furthermore, we demonstrate that as a byproduct, our model also learns features that lead to improved pose detection in still-images, and better keypoint tracking. Finally, we show how to leverage our learned model for the tasks of spatiotemporal action localization and fine-grained action recognition.

研究の動機と目的

• Faster R-CNNのような現代の検出モデルは単一フレーム分析を目的としており、動画からの運動のモデリングが欠落していることに対処する。
• 光流や2ストリームアーキテクチャに依存せずに、RGB動画データから検出モデルが効果的な運動表現を直接学習できるようにする。
• 新しい学習目的を通じて運動に敏感な特徴を学習することで、ポーズ推定、キーポイント追跡、および下流の動画理解タスクを向上させる。
• この方法で学習された運動特徴が、複数の動画理解タスクに一般化可能で判別的であることを示す。

提案手法

• フレームAの人体ポーズを予測するために、時間的に離れたフレームBから抽出した特徴量を用いるFaster R-CNN検出器を訓練し、ネットワークが運動対応関係を学習するように強制する。
• 空間的および時間的次元で動作する可変畳み込みを活用し、フレームBの特徴量を動的にサンプリングすることで、フレームAにおけるポーズ検出を向上させる。
• ポーズ推定損失を最適化することで、ネットワークが検出精度を最大化する運動オフセット（DiMoFs）を端末からエンドまで学習する。
• 得られた運動オフセットを、顕著な運動局所化、アクション認識、時空間検出などの下流タスク用の判別的運動特徴として使用する。
• ポーズ推定のためのPoseTrackデータセットで事前学習し、その後R(2+1)Dのような3Dバックボーンと微調整または統合することで、アクション認識に応用する。

実験結果

リサーチクエスチョン

• RQ1 Faster R-CNNのような検出モデルは、光流に依存せずにRGB動画から直接運動表現を学習できるか？
• RQ2 過去のフレームの特徴量を用いて1フレームのポーズを予測するように訓練することで、意味的な運動手がかりが得られるか？
• RQ3 学習された運動特徴（DiMoFs）はキーポイント追跡やアクション認識などの下流タスクの性能を向上させられるか？
• RQ4 性能と効率の観点から、DiMoFsは明示的な光流特徴と比べて優れているか？
• RQ5 DiMoFsは3D CNNと効果的に組み合わせられ、アクション認識で最先端の結果を達成できるか？

主な発見

• 提案手法は、細分化されたアクション認識のDiving48データセットで24.1%の精度を達成し、TSN や TRN などの2D手法を上回った。
• DiMoFsを光流に置き換えると、精度が2.6%低下（18.8% vs. 21.4%）し、学習された運動特徴が明示的な光流を上回ることを示した。
• ポーズクラスタIDヒストグラムのみを特徴量として使用した場合、17.2%の精度を達成したが、DiMoFsを追加することで21.4%に向上した。
• Kineticsなどの大規模データセットでの事前学習がなくても、Diving48でR(2+1)Dベースラインを2.7%上回り、小規模な事前学習でも強力な一般化性能を示した。
• DiMoFsと事前学習済みのR(2+1)Dバックボーンを組み合わせることで31.4%の精度を達成し、3D CNNとDiMoFsの間で特徴学習が補完的であることを示した。