[論文レビュー] What and How Well You Performed? A Multitask Learning Approach to Action Quality Assessment

Paritosh Parmar, Brendan Morris|arXiv (Cornell University)|Apr 8, 2019

Human Pose and Action Recognition参考文献 32被引用数 6

ひとこと要約

本論文は、新しい大規模なスイミングデータセットを用いて、3D CNNを用いて、アクション品質評価（AQA）、細分化されたアクション分類、および自然言語のコメンタリー生成を同時に最適化するマルチタスク学習アプローチを提案する。この手法は、AQAで90.44%のランク相関を達成し、単一タスク学習やアクション認識ベースラインと比較して、より優れた汎化性能とAQAに特化した特徴抽出を示し、最先端の性能を達成した。

ABSTRACT

Can performance on the task of action quality assessment (AQA) be improved by exploiting a description of the action and its quality? Current AQA and skills assessment approaches propose to learn features that serve only one task - estimating the final score. In this paper, we propose to learn spatio-temporal features that explain three related tasks - fine-grained action recognition, commentary generation, and estimating the AQA score. A new multitask-AQA dataset, the largest to date, comprising of 1412 diving samples was collected to evaluate our approach (https://github.com/ParitoshParmar/MTL-AQA). We show that our MTL approach outperforms STL approach using two different kinds of architectures: C3D-AVG and MSCADC. The C3D-AVG-MTL approach achieves the new state-of-the-art performance with a rank correlation of 90.44%. Detailed experiments were performed to show that MTL offers better generalization than STL, and representations from action recognition models are not sufficient for the AQA task and instead should be learned.

研究の動機と目的

• スコアリング以外のタスクに加え、関連する複数のタスクの表現を同時に学習することで、アクション品質評価（AQA）の性能を向上させること。
• 単一タスク学習の限界を是正すること。AQAにおいて単に最終スコアに依存する手法は、性能の微細な側面を捉えきれていない。
• 因子分解されたアクションクラスとAQA指向のコメンタリーを備えた、大規模かつ豊富にアノテートされたデータセットを構築すること。
• マルチタスク学習が、単一タスク学習と比較して、AQAのためのより優れた汎化性能とより判別力の高い特徴表現をもたらすことを示すこと。
• 異なるアーキテクチャ上で、未学習のアクションに対しても、本手法の汎用性とロバスト性を検証すること。

提案手法

• 3D CNNを用いて、動画クリップからAQAスコア、細分化されたアクションクラス、および自然言語のコメンタリーを同時に予測するマルチタスク学習フレームワークを提案する。
• スパatiotemporal特徴を抽出するために、C3D-AVGおよびMSCADCアーキテクチャをバックボーンとして用いる。
• 3つの異なる損失関数を採用：AQA回帰用、因子分解されたアクション分類用、およびシーケンス・ツー・シーケンスのコメンタリー生成用。
• 3つのタスク固有の損失の重み付き和を用いて、ネットワーク全体をエンドツーエンドに学習し、同時にすべての目的を最適化する。
• 既存の放送映像を活用して、アクション分類およびコメンタリーのラベルを抽出することで、追加のアノテーションコストを最小限に抑える。
• 未学習のアクションに対するゼロショットAQAのため、中間の畳み込み層出力に線形回帰器を訓練して特徴表現を評価する。

(a)

実験結果

リサーチクエスチョン

• RQ1 アクションの記述、コメンタリー、品質スコアリングの共同学習は、単一タスク学習と比較してAQA性能を向上させるか？
• RQ2 アクション認識のみで学習された特徴と比較して、マルチタスク学習で得られる特徴表現は、特に未学習のアクションにおいてより優れた汎化性能を示すか？
• RQ3 異なるネットワークアーキテクチャにおいて、マルチタスク学習による性能向上は一貫しているか？
• RQ4 マルチタスク学習によって学習されたAQA特化型特徴は、ゼロショットAQA評価において、アクション認識の事前学習特徴を上回る性能を示すか？
• RQ5 詳細なアクションおよびコメンタリーの監視情報が、より解釈可能で正確な品質評価を可能にするか？

主な発見

• C3D-AVG-MTLモデルは、人間がアノテートしたAQAスコアと90.44%のランク相関を達成し、新たな最先端の性能を樹立した。
• マルチタスク学習は、すべての訓練データサイズにおいて単一タスク学習を常に上回り、汎化性能の向上を示した。
• マルチタスク学習で得たAQA特化型特徴は、アクション認識モデルの特徴と比較して、未学習のアクション（例：ジャマーバック）に対してもより優れた汎化性能を示した。
• データセット外での評価において、C3D-AVG-MTLモデルはアクション認識ベースラインと比較して優れた性能を維持した。特にドメインシフト下でも顕著であった。
• MTLモデルの中間層出力に線形回帰器を訓練した結果、アクション認識モデルの特徴よりも高いAQA相関が得られ、より優れた特徴学習が実現したことを確認した。
• 新規のMTL-AQAデータセット（1412件のスイミングサンプル）で学習したモデルは、他のアクションへも強く転送可能であり、広範な適用可能性を示した。

Figure 2: C3D-AVG-MTL network .