[论文解读] Chirality Nets for Human Pose Regression

Raymond A. Yeh, Yuan-Ting Hu+1 more|arXiv (Cornell University)|Oct 31, 2019

Human Pose and Action Recognition被引用 14

一句话总结

本文提出 Chirality Nets，一种通过在标准层中强制实施奇偶对称参数共享，使深层神经网络对手性变换（即左右反射与关节标签互换的联合变换）保持等变性的网络家族。该方法在 3D 姿态估计、2D 姿态预测和基于骨架的动作识别任务中均取得最先进性能，尤其在小样本数据集上表现显著提升，同时通过对称性减少了参数量和计算量。

ABSTRACT

We propose Chirality Nets, a family of deep nets that is equivariant to the "chirality transform," i.e., the transformation to create a chiral pair. Through parameter sharing, odd and even symmetry, we propose and prove variants of standard building blocks of deep nets that satisfy the equivariance property, including fully connected layers, convolutional layers, batch-normalization, and LSTM/GRU cells. The proposed layers lead to a more data efficient representation and a reduction in computation by exploiting symmetry. We evaluate chirality nets on the task of human pose regression, which naturally exploits the left/right mirroring of the human body. We study three pose regression tasks: 3D pose estimation from video, 2D pose forecasting, and skeleton based activity recognition. Our approach achieves/matches state-of-the-art results, with more significant gains on small datasets and limited-data settings.

研究动机与目标

• 为解决标准深度网络在利用人体姿态固有的左右对称性方面的局限性，这种对称性无法被标准数据增强完全捕捉。
• 开发一种深度学习框架，使模型天然尊重人体姿态数据的手性对称性，确保在反射和标签互换变换下保持等变性。
• 通过在关键网络组件中利用对称性实现参数共享，降低模型复杂度并提升数据效率。
• 通过将等变性直接嵌入网络架构，实现在多个姿态回归任务中，尤其是在低数据场景下的最先进性能。

提出的方法

• 提出标准深度学习层的手性等变版本，包括全连接层、1D 卷积层、LSTM/GRU 层、批归一化层和 Dropout 层。
• 强制实施奇偶对称的参数共享：对每个权重参数，在左右关节之间共享值，并在手性变换下应用符号翻转。
• 设计一种手性不变层用于动作识别，通过将左右关节集合和反号维度设为空，确保在手性变换下输出保持不变。
• 通过用其手性对应层替换标准层，构建 Chirality Nets，从而在整个网络中保持从输入到输出的等变性。
• 利用对称参数共享减少可训练参数数量和计算成本，同时保持或提升性能。
• 将该框架应用于三项任务：3D 姿态估计（Human3.6M、HumanEva）、2D 姿态预测（Penn Action）和基于骨架的动作识别（Kinetics-400），并采用一致的架构修改。

实验结果

研究问题

• RQ1 能否设计出对包含反射与关节标签互换的联合变换（即手性变换）保持等变性的深度神经网络？
• RQ2 将手性等变性引入标准网络层（如全连接层、卷积层、LSTM）对模型性能和参数效率有何影响？
• RQ3 手性等变性在多大程度上提升了泛化能力，尤其是在姿态回归任务的低数据或小样本设置下？
• RQ4 手性等变网络能否在多样化的姿态回归基准上实现最先进性能，包括 3D 姿态估计、2D 姿态预测和动作识别？
• RQ5 对称性诱导的参数共享对人体姿态建模中的模型复杂度和计算效率有何影响？

主要发现

• Chirality Nets 在 3D 姿态估计任务中取得最先进性能，在 Human3.6M 和 HumanEva 数据集上与或超越了先前最先进方法。
• 在 Penn Action 数据集上的 2D 姿态预测任务中，手性模型达到 30.9% 的 Top-1 准确率和 53.0% 的 Top-5 准确率，优于 ST-GCN 和基线模型。
• 在 Kinetics-400 数据集上的基于骨架的动作识别任务中，手性不变模型达到 30.9% 的 Top-1 准确率和 53.0% 的 Top-5 准确率，成为基于骨架方法中的新最先进结果。
• 性能提升在姿态预测的早期预测步骤（前 10 步）最为显著，表明其具备更好的时序泛化能力。
• 由于对称权重共享，手性模型在更少参数和更低计算量下实现更优性能，尤其在低数据场景下优势明显。
• 用于动作识别的手性不变变体在手性变换下保持相同的输出分布，证实了其理论不变性特性。