[论文解读] Building Unified Human Descriptors For Multi-Type Activity Recognition.
本文提出一种统一框架，用于多类型活动识别，引入关系历史图像（RHI）描述符，将单人动作、交互行为以及第一人称活动等多种活动类型统一在单一表征中。该方法实现了联合活动识别与人员关联，在新收集的数据集和公开基准上均表现出色，确立了RHI作为复杂多类型活动场景下通用且高效的描述符。
Activity recognition is an important as well as a difficult task in computer vision. In the past years many types of activities -- single actions, two persons interactions or ego-centric activities to name a few -- have been analyzed. Nevertheless, researchers have always treated such types of activities separately. In this paper, we propose a new problem: labeling a complex scene where activities of different types happen in sequence or concurrently. We first present a new unified descriptor, called Relation History Image (RHI), which can be extracted from all the activity types we are interested in. We then propose a new method to recognize the activities and at the same time associate them to the humans who are performing them. Next, we evaluate our approach on a newly recorded dataset which is representative of the problem we are considering. Finally, we show the efficacy of the RHI descriptor on publicly available datasets performing extensive evaluations.
研究动机与目标
- 为解决在复杂场景中同时识别多种人类活动（如单人动作、双人交互及第一人称活动）的挑战。
- 通过单一一致的描述符统一表征多种活动类型，以支持联合识别与人员关联。
- 开发一种方法，可在同一框架中处理顺序与并发活动，提升跨活动类型的泛化能力。
- 在新采集的数据集上评估所提方法，该数据集真实反映了多类型活动场景的复杂性。
提出的方法
- 提出关系历史图像（RHI）作为统一的时空描述符，用于编码所有活动类型中人体部位与物体之间随时间变化的关系特征。
- 设计一种识别流程，利用RHI表征联合预测活动类别并将其与执行者关联。
- 在新采集的、标注了多类型、并发及顺序活动的数据集上端到端训练与微调模型。
- 将RHI描述符迁移并评估于公开数据集，以验证其在不同活动领域中的泛化能力与鲁棒性。
实验结果
研究问题
- RQ1单一统一的描述符是否能有效表征包括单人动作、交互行为和第一人称活动在内的多种活动类型？
- RQ2统一模型在复杂场景中同时或顺序发生多种活动类型时，其识别与关联能力如何？
- RQ3RHI描述符是否可在无需微调的情况下跨不同数据集和活动领域实现泛化？
- RQ4在复杂多类型活动场景中，联合活动识别与人员关联对性能有何影响？
主要发现
- 关系历史图像（RHI）描述符在多个公开数据集上均表现出色，证明其在训练域外也具备优异的有效性与泛化能力。
- 所提方法在复杂场景中成功识别并关联了具有顺序与并发活动类型的行为。
- 在新采集数据集上的评估证实了模型处理真实世界复杂性的能力，包括重叠与多样的活动模式。
- 统一框架通过共享不同活动类型之间的表征，优于针对特定任务的专用方法，显著减少了对每类活动单独建模的需求。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。