[论文解读] GestureGPT: Toward Zero-Shot Free-Form Hand Gesture Understanding with Large Language Model Agents

Xin Zeng, Xiaoyu Wang+4 more|arXiv (Cornell University)|Oct 19, 2023

Hand Gesture Recognition Systems参考文献 79被引用 5

一句话总结

GestureGPT 提出了一种基于大语言模型（LLMs）驱动的双智能体对话系统的零样本手势理解与定位框架。该框架将手势关键点转化为自然语言描述，再通过手势智能体与上下文智能体之间的迭代对话，将手势定位到交互功能，分别在智能家居和视频流媒体任务中实现了 90.78% 和 80.11% 的零样本 Top-5 定位准确率。

ABSTRACT

Existing gesture interfaces only work with a fixed set of gestures defined either by interface designers or by users themselves, which introduces learning or demonstration efforts that diminish their naturalness. Humans, on the other hand, understand free-form gestures by synthesizing the gesture, context, experience, and common sense. In this way, the user does not need to learn, demonstrate, or associate gestures. We introduce GestureGPT, a free-form hand gesture understanding framework that mimics human gesture understanding procedures to enable a natural free-form gestural interface. Our framework leverages multiple Large Language Model agents to manage and synthesize gesture and context information, then infers the interaction intent by associating the gesture with an interface function. More specifically, our triple-agent framework includes a Gesture Description Agent that automatically segments and formulates natural language descriptions of hand poses and movements based on hand landmark coordinates. The description is deciphered by a Gesture Inference Agent through self-reasoning and querying about the interaction context (e.g., interaction history, gaze data), which is managed by a Context Management Agent. Following iterative exchanges, the Gesture Inference Agent discerns the user's intent by grounding it to an interactive function. We validated our framework offline under two real-world scenarios: smart home control and online video streaming. The average zero-shot Top-1/Top-5 grounding accuracies are 44.79%/83.59% for smart home tasks and 37.50%/73.44% for video streaming tasks. We also provide an extensive discussion that includes rationale for model selection, generalizability, and future research directions for a practical system etc.

研究动机与目标

• 解决传统手势系统需预定义手势集且缺乏上下文感知能力的局限性。
• 通过利用 LLM 的推理与常识能力，实现对非固定类别自由手势的零样本理解。
• 通过基于上下文的动态映射，弥合手势识别与功能定位之间的差距，将手势与交互系统操作实时关联。
• 开发一种双智能体 LLM 架构，支持多轮对话，实现手势交互中整体意图的推理。
• 在真实交互场景（如视频流媒体和智能家居控制）中验证该框架的有效性。

提出的方法

• 手势描述模块利用基于手指角度、距离和运动方向的几何规则，将 2D 手部关键点坐标转换为自然语言描述。
• 采用双智能体对话系统：手势智能体负责解析手势描述并查询上下文，上下文智能体则维护并响应设备状态、注视数据和交互历史的知识库。
• 两名智能体通过多轮迭代对话联合推断用户意图，融合手势语义与上下文信息。
• 通过 LLM 推理整合手势描述与上下文线索，将手势定位到具体交互功能（如静音电视、取消静音等）。
• 使用公开的第一视角和第三人称视角手势数据集评估描述准确率，通过真实场景部署评估定位性能。
• 采用大语言模型（GPT-4）作为智能体，通过消融实验对比 GPT-3.5 和 Vicuna-13B 的性能，以评估模型能力需求。

实验结果

研究问题

• RQ1 基于 LLM 和上下文推理，零样本手势理解系统能否在预定义手势类别之外实现泛化？
• RQ2 双智能体对话系统在真实上下文中将自由手势定位到交互功能方面的有效性如何？
• RQ3 交互上下文（如设备状态、注视方向、历史记录）对手势定位准确率有何影响？
• RQ4 不同 LLM（如 GPT-4、GPT-3.5、Vicuna-13B）在通过对话支持手势定位方面的能力有何差异？
• RQ5 该系统能否在视频流媒体和智能家居控制等实时交互环境中实现高准确率？

主要发现

• 手势描述模块在第一视角数据集上达到 91.8% 的准确率，在第三人称视角数据集上达到 81.0%，证明了视觉到语言转换的鲁棒性。
• 在真实世界的视频流媒体任务中，系统实现了 80.11% 的零样本 Top-5 定位准确率，部分情况下优于人类基线。
• 在智能家居物联网控制任务中，系统达到 90.78% 的零样本 Top-5 定位准确率，表明其在复杂、上下文依赖交互中的强大泛化能力。
• 基于 GPT-4 的智能体显著优于 GPT-3.5（准确率 8.64%）和 Vicuna-13B（准确率低于 1%），凸显高级推理能力在手势理解中的必要性。
• 当对话轮次超过 20 轮时，GPT-3.5 的失败率高达 54.6%，Vicuna-13B 超过 95%，表明缺乏强大 LLM 支持时意图推理存在严重不稳定性。
• 由于依赖外部 LLM API，实时性能仍是挑战，未来工作需探索本地微调的小型 LLM（如 7B 或 13B 参数）以实现低延迟部署。