[论文解读] Intention from Motion.

Andrea Zunino, Jacopo Cavazza+4 more|arXiv (Cornell University)|May 31, 2016

Human Pose and Action Recognition参考文献 74被引用 3

一句话总结

本文提出了一种名为 '从运动中推断意图'（Intention from Motion）的新颖动作预测范式，仅通过运动学数据（不依赖上下文线索）来推断人类意图，其核心是利用一个包含3D动作捕捉数据与2D视频的新型多模态数据集。该方法仅依赖运动学特征即可实现可靠的意图预测，表明当前最先进动作识别模型在该任务上表现不佳，并提出一种专为仅从运动中推断意图而设计的新分类技术。

ABSTRACT

In this paper, we propose Intention from Motion, a new paradigm for action prediction where, without using any contextual information, we can predict human intentions all originating from the same motor act, non specific of the following performed action. To investigate such novel problem, we designed a proof of concept consisting in a new multi-modal dataset of motion capture marker 3D data and 2D video sequences where, by only analysing very similar movements in both training and test phases, we are able to predict the underlying intention, i.e., the future, never observed, action. Through an extended baseline assessment, we evaluate the proposed dataset employing state-of-the-art 3D and 2D action recognition techniques, while using fusion methods to fully exploit its multi-modal nature. We also report comparative benchmarking tests using existing action prediction pipelines, showing that such algorithms can not deal well with the proposed intention prediction problem. In the end, we demonstrate that intentions can be predicted in a reliable way, ultimately devising a novel classification technique to infer the intention from kinematic information only.

研究动机与目标

• 探究是否仅凭运动数据即可可靠预测人类意图，而无需任何上下文或环境信息。
• 解决从相同运动动作中预测多样化未来动作的挑战，该问题在现有动作预测流程中尚未得到良好处理。
• 设计并发布一个包含3D动作捕捉与2D视频序列的新型多模态数据集，以支持仅基于运动的意图预测研究。
• 评估当前最先进的3D与2D动作识别模型在该新任务上的表现，揭示其在处理意图预测任务时的局限性。
• 开发并验证一种新型分类技术，仅从运动学特征中推断意图，无需依赖上下文或环境信息。

提出的方法

• 作者构建了一个多模态数据集，结合3D动作捕捉标记数据与2D视频序列，捕捉在不同意图下表现出高度相似性的运动。
• 将当前最先进的3D与2D动作识别模型应用于该数据集，采用早期融合与晚期融合策略以充分利用两种模态信息。
• 该方法评估了从视觉与运动学上几乎相同但导致不同未来动作的运动序列中，预测其潜在意图的性能。
• 提出一种新型分类技术，直接从运动学特征中推断意图，无需依赖上下文或环境信息。
• 在数据集上测试基线模型，以评估其在意图预测任务上的泛化能力，揭示其在此特定场景下的不足。
• 该方法聚焦于识别运动中细微的运动学差异，这些差异可作为意图分化的信号，即使初始运动几乎完全相同。

实验结果

研究问题

• RQ1 是否仅凭运动数据即可可靠预测人类意图，而无需任何上下文或环境信息？
• RQ2 当将现有动作识别与预测流程应用于从相同运动动作中预测意图的任务时，其表现如何？
• RQ3 在初始运动几乎相同的情况下，哪些关键运动学特征可区分不同的未来动作？
• RQ4 在该场景下，3D运动与2D视频的多模态融合在多大程度上能提升意图预测性能？
• RQ5 一种仅基于运动学特征训练的新型分类模型，是否能在该意图预测任务上超越现有方法？

主要发现

• 现有动作识别与预测流程在从相同运动动作中预测意图的任务上无法有效泛化。
• 所提出的多模态数据集在仅使用运动特征时，能够实现可靠的意图预测，证明了 '从运动中推断意图' 范式的可行性。
• 当前最先进的3D与2D动作识别模型在该新任务上表现有限，表明现有方法存在明显差距。
• 3D运动捕捉与2D视频数据的融合可提升性能，但最佳结果仍来自仅使用运动学特征训练的专用分类模型。
• 成功开发了一种新型分类技术，仅从运动学信息中推断意图，在该特定任务上优于通用模型。
• 结果证实，即使初始运动几乎完全相同，运动学中的细微差异也足以提供足够信息以预测未来动作的分叉。