[論文レビュー] FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding

Dian Shao, Yue Zhao+2 more|arXiv (Cornell University)|Apr 14, 2020

Human Pose and Action Recognition参考文献 51被引用数 31

ひとこと要約

FineGymは、3レベルの意味階層（イベント、セット、要素）と2レベルの時間的注釈（アクション、サブアクション）を備えた大規模な体操ビデオデータセットを導入し、細分化されたアクション理解と関連手法の実証的な研究を可能にします。

ABSTRACT

On public benchmarks, current action recognition techniques have achieved great success. However, when used in real-world applications, e.g. sport analysis, which requires the capability of parsing an activity into phases and differentiating between subtly different actions, their performances remain far from being satisfactory. To take action recognition to a new level, we develop FineGym, a new dataset built on top of gymnastic videos. Compared to existing action recognition datasets, FineGym is distinguished in richness, quality, and diversity. In particular, it provides temporal annotations at both action and sub-action levels with a three-level semantic hierarchy. For example, a "balance beam" event will be annotated as a sequence of elementary sub-actions derived from five sets: "leap-jump-hop", "beam-turns", "flight-salto", "flight-handspring", and "dismount", where the sub-action in each set will be further annotated with finely defined class labels. This new level of granularity presents significant challenges for action recognition, e.g. how to parse the temporal structures from a coherent action, and how to distinguish between subtly different action classes. We systematically investigate representative methods on this dataset and obtain a number of interesting findings. We hope this dataset could advance research towards action understanding.

研究の動機と目的

• イベント、セット、要素という多層の意味ラベルを備えた高品質で細分化された体操ビデオデータセットを作成する。
• アクションおよびサブアクションの両レベルで時間的注釈を提供し、時間的に細分化された理解を可能にする。
• 専門家が構築したカテゴリと厳格な注釈品質管理を通じてデータ品質を確保する。
• 代表的なアクション認識手法をベンチマークし、課題を明らかにして細粒度アクション理解の今後の研究を導く。

提案手法

• データ品質と関連性を確保するため、公式の体操競技大会から高解像度映像を収集する。
• イベント、セット、要素の3レベルの意味階層でアクションを注釈し、アクションとサブアクションを時間的に同定する。
• 与えられたセット内の要素ラベルを決定木ベースの推論を用いて導出する。
• アノテータのトレーニング、事前テスト、クロスバリデーションを含む多段階の注釈品質管理を実装する。
• RGB、Flow、2Stream、および骨格ベースのアプローチを用いて、粗い粒度から細かい粒度（イベント/セット/要素）にわたる代表的なアクション認識モデルを評価する。
• イベントとサブアクションの局在化を比較するため、SSNフレームワークを用いて時系列アクション局在をデモンストレーションする。

実験結果

リサーチクエスチョン

• RQ1 現在のアクション認識モデルはFineGymの細粒度（要素レベル）のアクションでどの程度の性能を発揮するか？
• RQ2 時間的モデリングとフレームサンプリングが細粒度のアクション理解に与える影響は何か？
• RQ3 粗粒度データセットでの事前学習は、細粒度の体操アクションに役立つか？
• RQ4 細粒度で高速な動作における外観ベースと動作ベースの特徴にはどのような課題が現れるか？
• RQ5 FineGymにおけるサブアクションの時系列アクション局在化は、粗いアクションと比べてどれほど実現可能か？

主な発見

• スパースなフレームサンプリングは要素レベルの認識には不十分であり、頑健な性能を得るには多くのフレームが必要である。
• モーション情報は非常に重要であり、細粒度のアクションには時間的モデリングが決定的に重要である。
• 時間的ダイナミクスモデリング（TRN/TSM）は静止フレームのベースラインに比べて大幅な利得をもたらし、トレーニング時とテスト時のフレーム数の不一致は性能を損なう。
• 大規模な粗粒度データセットでの事前学習は、 temporalパターンのギャップのため、FineGymにとって必ずしも有益とは限らない。
• Skeletonベースの手法（ST-GCN）は、多様な動作における難しい姿勢推定のため、体操データで苦戦する。
• FineGymは高品質でアクション中心のデータと豊かな階層を持つ、挑戦的なベンチマークを提供し、細粒度アクション理解の今後の研究を導く。