[论文解读] ElderSim: A Synthetic Data Generation Platform for Human Action Recognition in Eldercare Applications

Hochul Hwang, Cheongjae Jang+3 more|arXiv (Cornell University)|Oct 28, 2020

Human Pose and Action Recognition参考文献 55被引用 9

一句话总结

ElderSim 是一个合成数据生成平台，通过使用逼真的3D角色动画和可定制的环境设置，模拟老年人的55种日常活动。通过生成RGB视频和3D骨骼轨迹，ElderSim 生成了 KIST SynADL 数据集，当用于增强真实世界数据集以训练深度学习模型时，显著提升了动作识别性能。

ABSTRACT

To train deep learning models for vision-based action recognition of elders' daily activities, we need large-scale activity datasets acquired under various daily living environments and conditions. However, most public datasets used in human action recognition either differ from or have limited coverage of elders' activities in many aspects, making it challenging to recognize elders' daily activities well by only utilizing existing datasets. Recently, such limitations of available datasets have actively been compensated by generating synthetic data from realistic simulation environments and using those data to train deep learning models. In this paper, based on these ideas we develop ElderSim, an action simulation platform that can generate synthetic data on elders' daily activities. For 55 kinds of frequent daily activities of the elders, ElderSim generates realistic motions of synthetic characters with various adjustable data-generating options, and provides different output modalities including RGB videos, two- and three-dimensional skeleton trajectories. We then generate KIST SynADL, a large-scale synthetic dataset of elders' activities of daily living, from ElderSim and use the data in addition to real datasets to train three state-of the-art human action recognition models. From the experiments following several newly proposed scenarios that assume different real and synthetic dataset configurations for training, we observe a noticeable performance improvement by augmenting our synthetic data. We also offer guidance with insights for the effective utilization of synthetic data to help recognize elders' daily activities.

研究动机与目标

• 为解决视觉系统中识别老年人日常活动（ADL）时缺乏多样化、大规模真实世界数据集的问题。
• 克服现有公开数据集的局限性，这些数据集通常包含年轻受试者、受控的实验室环境以及较低的环境变化。
• 开发一个可扩展、可定制的合成数据生成平台，以在不同条件下模拟逼真的老年人ADL。
• 评估合成数据在提升基于深度学习的人体动作识别（HAR）性能方面的有效性。
• 为将合成数据有效整合到HAR训练流程中提供实用指导。

提出的方法

• ElderSim 使用高保真3D渲染和建模工具，模拟逼真的室内环境以及具有年龄相关体型和动作的老年人物角色。
• 该平台可生成55种常见ADL（如行走、进食、就坐），并支持调整参数，如摄像机视角、光照条件和背景变化。
• 合成数据以多种模态输出：RGB视频序列以及用于深度学习训练的2D/3D骨骼轨迹。
• 从ElderSim生成大规模合成数据集 KIST SynADL，用于增强真实世界数据集（如 NTU RGB+D 和 ETRI）。
• 在多种跨数据集和跨条件设置下，使用真实与合成数据的组合，对三种最先进的HAR模型——Glimpse、ST-GCN 和 VA-CNN 进行训练。
• 该方法在不同测试划分上评估性能，包括跨年龄（年轻与老年受试者）、跨视角和跨数据集场景。

实验结果

研究问题

• RQ1 ElderSim 生成的合成数据是否能显著提升深度学习模型在识别老年人日常活动方面的性能？
• RQ2 与模型架构改进相比，ElderSim 合成数据的引入在识别准确率方面表现如何？
• RQ3 合成数据增强对不同摄像机视角、光照条件和受试者年龄群体的泛化能力有何影响？
• RQ4 合成数据在弥合以年轻受试者数据集（如 NTU）与真实世界老年人活动数据之间的领域差距方面有多有效？
• RQ5 将合成数据整合到HAR训练中的最优策略是什么，以最大化性能提升？

主要发现

• 在使用 NTU 数据集进行训练时，将 KIST SynADL 合成数据与真实数据结合，使 ETRI 数据集的 top-1 准确率最高提升 16.39%。
• 性能提升在多个模型（Glimpse、ST-GCN 和 VA-CNN）中保持一致，表明合成数据具有广泛的适用性。
• 在跨年龄评估中，合成数据使老年受试者的识别准确率提升 3.70%，年轻受试者提升 2.90%，表明对年龄域偏移具有鲁棒性。
• 在某些设置下，合成数据增强优于模型架构改进，相较于基线 VA-CNN 模型，准确率提升 1.94%。
• 引入合成数据增强了模型的泛化能力，尤其在摄像机视角和光照条件变化的场景中表现更优。
• 本研究证明，合成数据能够有效弥补真实世界数据集中缺失的数据，尤其是在环境多样性和人口统计多样性方面。