[论文解读] ETRI-Activity3D: A Large-Scale RGB-D Dataset for Robots to Recognize Daily Activities of the Elderly

Jinhyeok Jang, Dohyung Kim+4 more|arXiv (Cornell University)|Mar 4, 2020

Human Pose and Action Recognition参考文献 26被引用 5

一句话总结

本论文提出 ETRI-Activity3D，一个大规模的 RGB-D 数据集，包含 112,620 个样本，记录了 100 名受试者在机器人视角下进行的 55 种老年人日常活动。该研究提出 FSA-CNN，一种四流自适应卷积神经网络，具备输入自适应激活机制，并对时空变化具有鲁棒性，在 NTU RGB+D 和 ETRI-Activity3D 上均表现出优越性能，且验证了不同年龄群体之间的域偏移问题。

ABSTRACT

Deep learning, based on which many modern algorithms operate, is well known to be data-hungry. In particular, the datasets appropriate for the intended application are difficult to obtain. To cope with this situation, we introduce a new dataset called ETRI-Activity3D, focusing on the daily activities of the elderly in robot-view. The major characteristics of the new dataset are as follows: 1) practical action categories that are selected from the close observation of the daily lives of the elderly; 2) realistic data collection, which reflects the robot's working environment and service situations; and 3) a large-scale dataset that overcomes the limitations of the current 3D activity analysis benchmark datasets. The proposed dataset contains 112,620 samples including RGB videos, depth maps, and skeleton sequences. During the data acquisition, 100 subjects were asked to perform 55 daily activities. Additionally, we propose a novel network called four-stream adaptive CNN (FSA-CNN). The proposed FSA-CNN has three main properties: robustness to spatio-temporal variations, input-adaptive activation function, and extension of the conventional two-stream approach. In the experiment section, we confirmed the superiority of the proposed FSA-CNN using NTU RGB+D and ETRI-Activity3D. Further, the domain difference between both groups of age was verified experimentally. Finally, the extension of FSA-CNN to deal with the multimodal data was investigated.

研究动机与目标

• 为解决面向机器人识别老年人日常活动的大型、真实 RGB-D 数据集稀缺的问题。
• 开发一种能够处理人体动作识别中时空变化与域偏移的鲁棒深度学习模型。
• 通过扩展模型以处理 RGB、深度和骨骼输入，实现有效的多模态学习。

提出的方法

• ETRI-Activity3D 数据集通过在真实家庭环境中的 RGB-D 传感器采集，记录了 112,620 个样本，涵盖 100 名老年受试者执行的 55 种日常活动。
• 设计了一种新型四流自适应卷积神经网络（FSA-CNN），包含三个核心组件：时空鲁棒性、输入自适应激活函数，以及对双流框架的扩展。
• FSA-CNN 通过独立的流处理方式融合 RGB、深度和骨骼模态，其中自适应激活函数可根据输入特征动态调整。
• 通过晚期融合各流的特征进行最终分类，增强了模型在不同输入分布下的泛化能力。
• 在 NTU RGB+D 和新提出的 ETRI-Activity3D 数据集上对网络进行训练与评估，以验证性能与域偏移鲁棒性。
• 通过比较模型在不同年龄群体中的表现，对域偏移进行了定量分析，证实了模型对不同人口统计分布的适应能力。

实验结果

研究问题

• RQ1 一个大规模、真实的 RGB-D 数据集是否能提升机器人在家庭环境中对老年人日常活动的识别性能？
• RQ2 与现有双流网络相比，FSA-CNN 模型在识别具有时空变化的复杂人体动作时表现如何？
• RQ3 输入自适应激活机制在多模态动作识别中在多大程度上提升了模型的鲁棒性与准确性？
• RQ4 所提出的模型在域偏移（尤其是年轻人群与老年人群之间）下是否具有良好的泛化能力？
• RQ5 FSA-CNN 是否能有效融合多模态输入（RGB、深度、骨骼）以提升识别性能？

主要发现

• ETRI-Activity3D 数据集包含 112,620 个样本，涵盖 100 名老年受试者在真实机器人视角下执行的 55 种日常活动。
• FSA-CNN 在 NTU RGB+D 和 ETRI-Activity3D 上均达到当前最优性能，优于传统双流网络。
• 该模型对时空变化表现出强鲁棒性，在各类动作序列中均保持高准确率。
• 实验验证了年轻人群与老年人群之间存在显著的域偏移，凸显了在动作识别中使用年龄特定数据的重要性。
• 将 FSA-CNN 扩展至多模态输入（RGB、深度、骨骼）后，识别准确率得到提升，证实了多模态融合的有效性。
• 输入自适应激活函数有助于更优的特征学习，尤其在处理模态质量与分布差异方面表现突出。