[论文解读] Auto-Encoding Score Distribution Regression for Action Quality Assessment

Boyu Zhang, Jiayuan Chen+4 more|arXiv (Cornell University)|Nov 22, 2021

Human Pose and Action Recognition被引用 5

一句话总结

该论文提出了一种即插即用的不确定性感知回归模块——分布自编码器（Distribution Auto-Encoder, DAE），用于动作质量评估（AQA），通过变分推断将动作评分建模为学习到的概率分布。通过将视频特征编码为分布并利用重参数化技巧进行采样，DAE 提升了预测准确率与不确定性估计能力，在 AQA-7、MTL-AQA 和 JIGSAWS 数据集上实现了最先进性能，仅带来轻微的推理时间开销。

ABSTRACT

The action quality assessment (AQA) of videos is a challenging vision task since the relation between videos and action scores is difficult to model. Thus, AQA has been widely studied in the literature. Traditionally, AQA is treated as a regression problem to learn the underlying mappings between videos and action scores. But previous methods ignored data uncertainty in AQA dataset. To address aleatoric uncertainty, we further develop a plug-and-play module Distribution Auto-Encoder (DAE). Specifically, it encodes videos into distributions and uses the reparameterization trick in variational auto-encoders (VAE) to sample scores, which establishes a more accurate mapping between videos and scores. Meanwhile, a likelihood loss is used to learn the uncertainty parameters. We plug our DAE approach into MUSDL and CoRe. Experimental results on public datasets demonstrate that our method achieves state-of-the-art on AQA-7, MTL-AQA, and JIGSAWS datasets. Our code is available at https://github.com/InfoX-SEU/DAE-AQA.

研究动机与目标

• 解决传统 AQA 方法忽略人类标注评分中固有随机性（aleatoric uncertainty）的局限性。
• 通过学习动作评分的概率分布而非单一标量值，建模人类判断中的固有变异性。
• 开发一种可泛化的即插即用模块，增强现有基于回归的 AQA 框架，而无需对网络架构进行大规模修改。
• 通过在评分分布中学习方差来量化不确定性，从而提升预测的鲁棒性与可解释性。

提出的方法

• DAE 采用受变分自编码器启发的架构，将视频特征映射为动作评分上的参数化概率分布（如高斯分布）。
• 编码器输出评分分布的均值与方差，重参数化技巧使得采样过程可微，支持端到端训练。
• 提出一种新颖的基于似然的损失函数，结合重建项与监督项，联合优化分布参数与预测准确性。
• 通过即插即用设计，将该方法集成到现有 AQA 模型（MUSDL、CoRe 及基于 MLP 的基线）中。
• 模型通过加权组合监督损失与重建损失进行训练，实现自适应不确定性估计。
• DAE 在三个公开数据集（AQA-7、MTL-AQA 和 JIGSAWS）上进行评估，并开展了关于损失组件与推理效率的消融研究。

Figure 1: Different actions have dissimilar aleatoric uncertainty when scored by the judges. Aleatoric uncertainty in DAE can be modeled as specific target distribution. e.g. Gaussian distribution. Our DAE achieves better performance since it can learn the adaptive variance from the data.

实验结果

研究问题

• RQ1 与点估计相比，将动作评分建模为概率分布是否能提升 AQA 中的回归性能？
• RQ2 可学习的分布在多大程度上能捕捉人类标注视频评分中的固有随机性？
• RQ3 所提出的 DAE 模块是否能在不同 AQA 架构与数据集上实现良好泛化？
• RQ4 所提出的似然损失函数对不确定性估计与模型稳定性有何影响？
• RQ5 DAE 的推理时间与基线回归模型相比如何？

主要发现

• DAE 在 AQA-7、MTL-AQA 和 JIGSAWS 数据集上均达到最先进性能，在 MTL-AQA 上相比基线实现 6.1% 的相对性能提升。
• 所提出的似然损失优于标准 MSE 损失，在 MTL-AQA 上将斯皮尔曼等级相关系数提升 0.0037，在 JIGSAWS 上提升 0.04。
• 模型学习到自适应方差：高质量动作显示低方差（评分稳定），低质量动作显示高方差（评分者间分歧大）。
• DAE-MT 与 DAE-CoRe 分别带来 7% 和 9.7% 的推理时间增加，表明计算开销极低。
• 案例研究证实 DAE 能捕捉真实世界中的不确定性模式，其分布反映了人类判断的可靠性。
• 消融研究显示，联合损失函数在性能与方差估计稳定性方面均优于单一损失函数的替代方案。

Figure 2: The pipeline of DAE architecture contains two segments: video features extraction network and label distribution encoding network. The input video is divided into $n$ small clips by down-sampling. Then the clips are sent into I3D ConvNets for extracting features. The final features are syn