[論文レビュー] Auto-Encoding Score Distribution Regression for Action Quality Assessment

Boyu Zhang, Jiayuan Chen+4 more|arXiv (Cornell University)|Nov 22, 2021

Human Pose and Action Recognition被引用数 5

ひとこと要約

本論文では、変分推論を用いて行動スコアを学習された確率分布としてモデル化することにより、行動品質評価（AQA）のためのプラグアンドプレイ型不確実性対応回帰モジュールである分布自己符号化器（DAE）を提案する。動画特徴を分布に符号化し、再パrameterizationを用いたサンプリングにより、予測精度と不確実性推定が向上し、AQA-7、MTL-AQA、JIGSAWSで最先端の性能を達成したが、推論時間の増加はわずかにとどまった。

ABSTRACT

The action quality assessment (AQA) of videos is a challenging vision task since the relation between videos and action scores is difficult to model. Thus, AQA has been widely studied in the literature. Traditionally, AQA is treated as a regression problem to learn the underlying mappings between videos and action scores. But previous methods ignored data uncertainty in AQA dataset. To address aleatoric uncertainty, we further develop a plug-and-play module Distribution Auto-Encoder (DAE). Specifically, it encodes videos into distributions and uses the reparameterization trick in variational auto-encoders (VAE) to sample scores, which establishes a more accurate mapping between videos and scores. Meanwhile, a likelihood loss is used to learn the uncertainty parameters. We plug our DAE approach into MUSDL and CoRe. Experimental results on public datasets demonstrate that our method achieves state-of-the-art on AQA-7, MTL-AQA, and JIGSAWS datasets. Our code is available at https://github.com/InfoX-SEU/DAE-AQA.

研究の動機と目的

• 人為的アノテーションスコアにおけるアレアトリック不確実性を無視する従来のAQA手法の限界を是正すること。
• 単一のスカラ値ではなく、行動スコア上の分布を学習することで、人間の判断における本質的ばらつきをモデル化すること。
• 既存の回帰ベースAQAフレームワークに大規模なアーキテクチャ変更を加えずに統合可能な汎用的でプラグアンドプレイなモジュールを開発すること。
• スコア分布における学習された分散を用いた不確実性の定量化により、予測のロバスト性と説明可能性を向上させること。

提案手法

• DAEは、変分オートエンコーダーにインspiredされたアーキテクチャを用い、動画特徴を行動スコア上のパラメトリックな確率分布（例：正規分布）にマッピングする。
• エンコーダーはスコア分布の平均と分散を出力し、再パラメータライゼーションのトリックにより、エンドツーエンドの学習が可能な微分可能なサンプリングが可能になる。
• 再構成と監督の項を統合した新しい尤度ベースの損失関数が導入され、分布パラメータと予測精度を同時に最適化する。
• プラグアンドプレイ設計により、既存のAQAモデル（MUSDL、CoRe、およびMLPベースのベースライン）に統合される。
• モデルは、監督損失と再構成損失の重み付き組み合わせを用いて学習され、不確実性推定が適応的に行える。
• DAEは3つの公開データセット（AQA-7、MTL-AQA、JIGSAWS）で評価され、損失項の構成と推論効率に関するアブレーションスタディが実施された。

Figure 1: Different actions have dissimilar aleatoric uncertainty when scored by the judges. Aleatoric uncertainty in DAE can be modeled as specific target distribution. e.g. Gaussian distribution. Our DAE achieves better performance since it can learn the adaptive variance from the data.

実験結果

リサーチクエスチョン

• RQ1 スコアを点推定ではなく確率分布としてモデル化することで、AQAにおける回帰性能が向上するか？
• RQ2 学習可能な分布は、人為的アノテーションスコアに内在するアレアトリック不確実性をどれほど効果的に捉えることができるか？
• RQ3 提案されたDAEモジュールは、異なるAQAアーキテクチャおよびデータセットに一般化可能か？
• RQ4 提案された尤度損失関数は、不確実性推定とモデル安定性にどのような影響を及えるか？
• RQ5 DAEの推論時間は、ベースライン回帰モデルと比較してどの程度か？

主な発見

• DAEはAQA-7、MTL-AQA、JIGSAWSで最先端の性能を達成し、MTL-AQAではベースライン比で相対的に6.1%の向上を示した。
• 提案された尤度損失は標準的なMSE損失を上回り、MTL-AQAではスピアマン順位相関を0.0037、JIGSAWSでは0.04向上させた。
• モデルは適応的分散を学習する：高品質な行動では分散が低くなる（スコアが安定）、低品質な行動では分散が高くなる（審査員間の合意が乏しい）。
• DAE-MTとDAE-CoReは、それぞれ7%および9.7%の推論時間増加を示したが、計算コストの増加は最小限に抑えられた。
• 事例スタディにより、DAEは現実の不確実性パターンを正しく捉え、分布が人間の判断の信頼性を反映していることが確認された。
• アブレーションスタディの結果、単一損失の代替手法と比較して、組み合わせ損失関数はより優れた性能とより安定した分散推定を達成した。

Figure 2: The pipeline of DAE architecture contains two segments: video features extraction network and label distribution encoding network. The input video is divided into $n$ small clips by down-sampling. Then the clips are sent into I3D ConvNets for extracting features. The final features are syn