[论文解读] Gesture Similarity Analysis on Event Data Using a Hybrid Guided Variational Auto Encoder.

Kenneth Stewart, Andreea Danielescu+3 more|arXiv (Cornell University)|Mar 31, 2021

Advanced Memory and Neural Computing参考文献 49被引用 6

一句话总结

本文提出一种混合引导变分自编码器（VAE），利用动态视觉传感器（DVS）的事件数据，以高时间分辨率分析空中手势，实现自然、无疲劳的交互。该模型学习到一个解耦的潜在空间，支持精确的手势相似性计算、聚类以及新型手势的伪标签生成，适用于神经形态硬件的在线自适应。

ABSTRACT

While commercial mid-air gesture recognition systems have existed for at least a decade, they have not become a widespread method of interacting with machines. This is primarily due to the fact that these systems require rigid, dramatic gestures to be performed for accurate recognition that can be fatiguing and unnatural. The global pandemic has seen a resurgence of interest in touchless interfaces, so new methods that allow for natural mid-air gestural interactions are even more important. To address the limitations of recognition systems, we propose a neuromorphic gesture analysis system which naturally declutters the background and analyzes gestures at high temporal resolution. Our novel model consists of an event-based guided Variational Autoencoder (VAE) which encodes event-based data sensed by a Dynamic Vision Sensor (DVS) into a latent space representation suitable to analyze and compute the similarity of mid-air gesture data. Our results show that the features learned by the VAE provides a similarity measure capable of clustering and pseudo labeling of new gestures. Furthermore, we argue that the resulting event-based encoder and pseudo-labeling system are suitable for implementation in neuromorphic hardware for online adaptation and learning of natural mid-air gestures.

研究动机与目标

• 解决当前空中手势识别系统依赖僵硬、不自然手势的局限性。
• 通过高时间分辨率的手势分析，减少用户疲劳，实现自然的非接触式人机交互。
• 开发一种能够利用学习到的潜在表征对新手势进行聚类和伪标签生成的系统。
• 设计适用于神经形态硬件部署的模型，以支持在线学习与自适应。

提出的方法

• 模型以动态视觉传感器（DVS）采集的事件数据作为输入，高分辨率捕捉运动中的时间变化。
• 采用引导变分自编码器（VAE）将事件序列编码至解耦的潜在空间，以捕捉与手势相关的特征。
• 通过时间与空间先验对VAE进行引导，以提升学习表征的质量与可解释性。
• 潜在空间支持手势间的相似性计算，从而支持未见手势的聚类与伪标签生成。
• 模型架构设计注重高效推理与在线自适应，适用于神经形态硬件部署。
• 系统利用事件数据的稀疏性与高效性，降低计算负载，同时保持高精度。

实验结果

研究问题

• RQ1 在事件驱动的DVS数据上训练的VAE能否有效学习到适合手势相似性分析的解耦潜在表征？
• RQ2 所学习的潜在空间在支持新空中手势聚类与伪标签生成方面表现如何？
• RQ3 与传统系统相比，该模型在实现自然、低负荷手势交互方面的能力达到何种程度？
• RQ4 所提出的系统能否在神经形态硬件上高效实现，以支持实时在线学习？

主要发现

• VAE学习到一个解耦的潜在空间，能有效从事件驱动的DVS数据中编码手势特定特征。
• 所学习的表征支持精确的手势相似性计算，有效实现对未见手势的聚类。
• 系统利用学习到的相似性度量，实现了对新手势的可靠伪标签生成。
• 该架构适合部署于神经形态硬件，支持在线自适应与低延迟推理。
• 该模型减少了对僵硬、夸张手势的依赖，支持更自然、无疲劳的交互。
• 事件驱动处理在保持低计算开销的同时实现高时间分辨率，显著提升实时性能。