[论文解读] LLaSA: A Sensor-Aware LLM for Natural Language Reasoning of Human Activity from IMU Data

Sheikh Asif Imran, Mohammad Nur Hossain Khan+2 more|arXiv (Cornell University)|Jun 20, 2024

Context-Aware Activity Recognition Systems被引用 4

一句话总结

LLaSA 提出了一种传感器感知的大型多模态智能体，通过新颖的 26,288 个动作叙述数据集（SensorCaps）和 257,562 个问答对数据集（OpenSQA），将惯性测量单元（IMU）数据与大型语言模型（LLM）相结合。通过使用参数高效微调方法将 LIMU-BERT 与 Llama 融合，LLaSA 在动作分类和开放式问答任务中实现了最先进性能，实现了对医疗保健和人机交互应用中运动数据的详细、上下文感知的推理。

ABSTRACT

Wearable systems can recognize activities from IMU data but often fail to explain their underlying causes or contextual significance. To address this limitation, we introduce two large-scale resources: SensorCap, comprising 35,960 IMU--caption pairs, and OpenSQA, with 199,701 question--answer pairs designed for causal and explanatory reasoning. OpenSQA includes a curated tuning split (Tune-OpenSQA) optimized for scientific accuracy, narrative clarity, and diagnostic insight. Leveraging these datasets, we develop LLaSA (Large Language and Sensor Assistant), a family of compact sensor-aware language models (7B and 13B) that generate interpretable, context-rich responses to open-ended questions grounded in raw IMU data. LLaSA outperforms commercial LLMs, including GPT-3.5 and GPT-4o-mini, on benchmark and real-world tasks, demonstrating the effectiveness of domain supervision and model alignment for sensor reasoning. Our code repository and datasets can be found at https://github.com/BASHLab/LLaSA.

研究动机与目标

• 弥合多模态人工智能中惯性测量单元（IMU）数据指令遵循数据集的空白。
• 开发一种能够利用 IMU 传感器数据理解并推理人类活动的大型多模态智能体（LLaSA）。
• 通过整合 LLM 与源自传感器的叙述，实现对运动模式的开放式问答。
• 推动传感器感知语言模型在医疗保健、运动科学和人机交互等现实世界应用中的发展。
• 建立用于评估传感器感知 LLM 在动作分类和推理任务中表现的基准。

提出的方法

• 采用 LIMU-BERT 作为 IMU 数据的基础编码器，利用未标记的加速度计和陀螺仪信号进行自监督预训练。
• 在输入编码器前，应用可学习的位置编码以保留 IMU 序列中的时间顺序。
• 通过参数高效微调（LoRA）将 LIMU-BERT 与 Llama LLM 融合，构建多模态智能体（LLaSA）。
• 使用基于 GPT 的模型生成 IMU 事件的自然语言叙述，构建包含 26,288 个活动描述的 SensorCaps 数据集。
• 构建 OpenSQA 数据集，包含 257,562 个基于 IMU 衍生叙述的指令遵循型问答对。
• 在结合封闭式动作分类和开放式问答的新基准上评估 LLaSA，并使用 GPT-4o 进行定性评估。

Figure 1: Architecture of the Large Language and Sensor Assistant (LLaSA) model

实验结果

研究问题

• RQ1 大型语言模型能否通过原始 IMU 传感器数据和自然语言描述，被有效微调以推理人类活动？
• RQ2 与通用大型语言模型相比，传感器感知 LLM 在涉及运动分析的开放式问答任务中表现如何？
• RQ3 经过叙述的 IMU 数据在多大程度上能提升多模态智能体在指令遵循能力方面的质量与具体性？
• RQ4 当前传感器感知 LLM 在处理数学推理和传感器特定细节方面存在哪些局限性？
• RQ5 在合成叙述和问答对上训练的多模态智能体能否泛化到现实世界中的动作理解任务？

主要发现

• LLaSA 在推理活动阶段（如爬楼梯时区分支撑相与摆动相）方面优于 Vicuna-13b，提供了基于数据的解释。
• 该模型在封闭式动作分类任务中表现出色，在基准数据集上达到了最先进水平。
• 与通用 LLM 相比，LLaSA 生成的答案更具针对性和上下文相关性，而后者常给出通用或无关的回答。
• 尽管具备优势，LLaSA 仍偶尔出现活动误分类，且在涉及传感器数据的数学问题上表现吃力，表明其数值推理能力有待提升。
• GPT-4o 评估确认，LLaSA 的回答在科学性和叙述性上均优于基线模型，但仍观察到幻觉和泛化错误。
• 研究发现，仅依靠传感器嵌入不足以支持数学推理，提示未来模型需引入显式的数值输入增强。