[論文レビュー] FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment

Jinglin Xu, Yongming Rao+4 more|arXiv (Cornell University)|Apr 7, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

FineDivingは、階層的な意味的・時系列的構造を備えた、ドリル動画における手順認識型アクション品質評価のための新しい細分化データセットを紹介する。本研究では、クエリと例示的アクションステップ間のクロスアテンションを可能にするTemporal Segmentation Attention（TSA）モジュールを提案し、細分化で解釈可能な品質比較を学習することで、動画レベルの回帰ベースラインに比べて優れた性能を達成し、透明性と正確性の両方を向上させた。

ABSTRACT

Most existing action quality assessment methods rely on the deep features of an entire video to predict the score, which is less reliable due to the non-transparent inference process and poor interpretability. We argue that understanding both high-level semantics and internal temporal structures of actions in competitive sports videos is the key to making predictions accurate and interpretable. Towards this goal, we construct a new fine-grained dataset, called FineDiving, developed on diverse diving events with detailed annotations on action procedures. We also propose a procedure-aware approach for action quality assessment, learned by a new Temporal Segmentation Attention module. Specifically, we propose to parse pairwise query and exemplar action instances into consecutive steps with diverse semantic and temporal correspondences. The procedure-aware cross-attention is proposed to learn embeddings between query and exemplar steps to discover their semantic, spatial, and temporal correspondences, and further serve for fine-grained contrastive regression to derive a reliable scoring mechanism. Extensive experiments demonstrate that our approach achieves substantial improvements over state-of-the-art methods with better interpretability. The dataset and code are available at \url{https://github.com/xujinglin/FineDiving}.

研究の動機と目的

• 既存のアクション品質評価（AQA）データセットに細分化された、手順レベルのアノテーションが不足していることによる解釈可能性と信頼性の制限を是正すること。
• ドリル動作の複数の段階（発進、フライト、入水）における意味的・時系列的構造をモデル化することで、正確で透明性の高いAQAを実現すること。
• クエリと例示的インスタンス間のアクションステップを比較し、スプロールやターンの実行における微細な品質差を定量化する手法を開発すること。
• エンドツーエンドの動画レベル回帰から、段階的で対照的な品質比較に置き換えることで、スコアリングの解釈可能性を向上させること。
• 今後のAQA研究のためのベンチマークデータセットを確立し、公式スコア、難易度係数、詳細なアノテーションを含めること。

提案手法

• 提案されたTemporal Segmentation Attention（TSA）モジュールは、事前に定義されたアクションタイプの語彙に基づき、クエリおよび例示的アクションインスタンスを連続的で意味的にラベル付けされたステップに分解する。
• TSAは、トランスフォーマーに基づくクロスアテンション機構を用いて、クエリステップと例示的ステップ間の意味的・空間的・時系列的対応関係を学習する。
• 得られた手順認識型埋め込みに対して、細分化された対照的回帰を実行し、ステップレベルでの品質差を予測する。
• フレームワークは、品質認識型表現の学習を支援するために、公式のFINAスコアと難易度係数を併用して監視する。
• データセットは、多様なドリルイベントにわたる一貫性と正確性を確保するため、特別なアノテーションツールを用いてフレーム単位でアノテートされたものである。
• モデルはエンドツーエンドに訓練され、対照的比較から得られる段階的品質予測の集約によって、アクションスコアを予測する。

実験結果

リサーチクエスチョン

• RQ1 段階的アクション構造をモデル化する手順認識型アプローチは、競技ドリルにおけるアクション品質評価の正確性と解釈可能性を向上させることができるか？
• RQ2 クエリと例示的アクションステップ間のクロスアテンションは、スプロールやターンにおける微細な品質差を効果的に捉えられるか？
• RQ3 細分化された段階的比較は、AQAタスクにおいて動画レベルの特徴回帰をどれほど上回るか？
• RQ4 階層的な意味的・時系列的アノテーションを備えた新しいデータセットは、より信頼性が高く透明性のあるAQAモデルの実現を可能にするか？
• RQ5 本フレームワークにおける学習済み品質埋め込みと、難易度係数および公式スコアの相関関係はどの程度か？

主な発見

• 提案された手順認識型手法は、最先端のAQA手法に比べて顕著な向上を示し、優れた正確性と解釈可能性を実現した。
• モデルの予測は、特定のアクションステップおよびその品質差にまで遡れるため、より透明性が高い。
• FineDivingは、サブアクションタイプの一貫したフレーム単位のアノテーションを提供することで、クエリと例示的アクションの信頼性の高い比較を可能にした。
• Temporal Segmentation Attentionモジュールは、アクションステップ間の意味的・空間的・時系列的対応関係を有意義に学習した。
• データセットには1,000本以上のドリル動画が含まれており、120種類以上のアクションタイプと150種類以上のサブアクションタイプの詳細なアノテーションが含まれ、多様なルーティンと難易度レベルをカバーしている。
• 本手法は、特にターンやスプロールの実行における微細な差を区別する点で、動画レベルの回帰ベースラインを大幅に上回った。