[论文解读] FMHash: Deep Hashing of In-Air-Handwriting for User Identification

Duo Lu, Dijiang Huang+1 more|arXiv (Cornell University)|Jun 10, 2018

Hand Gesture Recognition Systems参考文献 26被引用 3

一句话总结

FMHash 是一种深度学习框架，能够从空中手势书写中生成紧凑的模糊二值哈希码，以实现在虚拟现实/增强现实（VR/AR）和可穿戴设备中快速、准确的用户身份识别。通过使用基于卷积神经网络（CNN）的网络结构并引入一种新颖的 pq-正则化器，其在 200 个账户的数据集上实现了 ≥99.5% 的精确率和 ≥92.6% 的召回率，即使在手势存在变异的情况下，也能通过哈希表实现高效的搜索。

ABSTRACT

Many mobile systems and wearable devices, such as Virtual Reality (VR) or Augmented Reality (AR) headsets, lack a keyboard or touchscreen to type an ID and password for signing into a virtual website. However, they are usually equipped with gesture capture interfaces to allow the user to interact with the system directly with hand gestures. Although gesture-based authentication has been well-studied, less attention is paid to the gesture-based user identification problem, which is essentially an input method of account ID and an efficient searching and indexing method of a database of gesture signals. In this paper, we propose FMHash (i.e., Finger Motion Hash), a user identification framework that can generate a compact binary hash code from a piece of in-air-handwriting of an ID string. This hash code enables indexing and fast search of a large account database using the in-air-handwriting by a hash table. To demonstrate the effectiveness of the framework, we implemented a prototype and achieved >99.5% precision and >92.6% recall with exact hash code match on a dataset of 200 accounts collected by us. The ability of hashing in-air-handwriting pattern to binary code can be used to achieve convenient sign-in and sign-up with in-air-handwriting gesture ID on future mobile and wearable systems connected to the Internet.

研究动机与目标

• 解决在传统输入方式不可行的基于手势的界面中用户身份识别的挑战。
• 在虚拟现实/增强现实（VR/AR）和可穿戴设备中，利用空中手势书写实现高效、可扩展的用户身份识别。
• 生成对自然手势变异（模糊性）具有鲁棒性的紧凑二值哈希码，确保同一用户重复书写时的一致性。
• 设计一种支持快速微调的新账户的深度学习框架，同时保持高精度。
• 确保不同用户哈希码之间的强分离性，以最小化数据库搜索中的误报。

提出的方法

• FMHash 使用基于摄像头的手势接口，在用户进行 ID 字符串的空中书写时捕获三维手部运动信号。
• 一个深度卷积神经网络（FMHashNet）处理归一化的时序信号，生成 16 位二值哈希码。
• 引入一种新颖的 pq-正则化器，以确保在 99% 的情况下，不同用户哈希码之间的汉明距离至少为 3 位。
• 该框架采用渐进式训练流程以稳定学习过程，并保持快速收敛（每次完整训练约 10 分钟）。
• 利用生成的二值哈希码构建哈希表，以实现用户身份识别的 O(1) 平均时间复杂度查找。
• 为提高效率和训练稳定性，避免使用 RNN，选择纯 CNN 架构来处理序列化手势数据。

实验结果

研究问题

• RQ1 能否可靠地将空中手势书写转换为紧凑的、具有模糊容忍能力的二值哈希码，以应对自然运动变异？
• RQ2 深度学习模型能否在保持用户内部一致性的同时，生成具有高分离度（汉明距离 ≥3）的哈希码？
• RQ3 与标准正则化或激活方法相比，所提出的 pq-正则化器在提升哈希码分离度和识别准确率方面的有效性如何？
• RQ4 系统是否能够支持新账户或更新的快速微调，而不会导致性能显著下降？
• RQ5 哈希码在汉明空间中的分布如何？其是否支持大规模数据库中的稀疏、高效索引？

主要发现

• 在 200 个账户的数据集上，FMHash 通过精确哈希码匹配实现了 ≥99.5% 的精确率和 ≥92.6% 的召回率，证明了其在用户身份识别中的高可靠性。
• pq-正则化器确保了在 99% 的情况下，不同账户的哈希码之间至少相距 3 位，显著提升了识别的鲁棒性。
• 哈希码各比特的分布接近均匀分布（0 和 1 的数量基本相等），且比特之间相关性低，表明信息编码具有平衡性和独立性。
• 任意两个用户哈希码之间的平均汉明距离为 7–8 位，最小距离为 3–4 位，最大距离为 13–14 位，证实了其在汉明空间中稀疏且良好分离的分布特性。
• 与 DSH 类似正则化和 tanh 激活方法相比，FMHash 的 pq-正则化器在保持类间分离性和降低容忍位错误导致的误报方面表现更优。
• 基于 CNN 的 FMHashNet 实现了快速训练（每次完整训练约 10 分钟），并支持新账户注册的高效微调，在速度和稳定性上优于基于 RNN 的替代方案。