[论文解读] Large Language Models are Zero-Shot Recognizers for Activities of Daily Living

Gabriele Civitarese, Michele Fiori+2 more|arXiv (Cornell University)|Jul 1, 2024

Context-Aware Activity Recognition Systems被引用 6

一句话总结

本文提出 ADL-LLM，一种基于大语言模型的系统，将智能家居传感数据转换为文本，并使用零-shot（可选少-shot）提示在没有标注数据的情况下识别日常生活活动（ADL），在 MARBLE 和 UCI ADL 数据集上进行评估。

ABSTRACT

The sensor-based recognition of Activities of Daily Living (ADLs) in smart home environments enables several applications in the areas of energy management, safety, well-being, and healthcare. ADLs recognition is typically based on deep learning methods requiring large datasets to be trained. Recently, several studies proved that Large Language Models (LLMs) effectively capture common-sense knowledge about human activities. However, the effectiveness of LLMs for ADLs recognition in smart home environments still deserves to be investigated. In this work, we propose ADL-LLM, a novel LLM-based ADLs recognition system. ADLLLM transforms raw sensor data into textual representations, that are processed by an LLM to perform zero-shot ADLs recognition. Moreover, in the scenario where a small labeled dataset is available, ADL-LLM can also be empowered with few-shot prompting. We evaluated ADL-LLM on two public datasets, showing its effectiveness in this domain.

研究动机与目标

• 激发在智能家居中基于传感器的 ADL 识别，以促进健康与福祉应用。
• 提出 ADL-LLM，将传感数据转化为文本叙述，并使用 LLM 提示实现零-shot 识别。
• 证明在数据稀缺场景下，零-shot ADL-LLM 的表现可与有监督方法相匹配或超过。
• 表明在有小型标注数据集时，少-shot 提示可以提升性能。
• 提供源代码以确保结果可复现。

提出的方法

• 将原始传感流转换为一系列传感状态。
• 将传感状态分割为固定时间窗并允许重叠。
• 通过 Window2Text 将每个时间窗转换为自然语言描述。
• 使用系统提示和针对该时间窗的用户提示向 LLM 进行查询，以获取活动预测。
• 使用正则表达式从 LLM 输出中提取活动标签，并用余弦相似度作为回退标签。
• 可选地用示例池丰富提示，并进行基于语义的示例选择以实现少-shot 提示。
• 使用基于余弦相似度的嵌入方法来选择与 Few-shot 提示相关的示例。

Figure 1 . Overall architecture of ADL-LLM. When the pool of examples is empty ADL-LLM, acts as a zero-shot ADLs recognition method. Otherwise, it is a few-shot approach.

实验结果

研究问题

• RQ1 在没有标注训练数据的情况下，LLM 能否从传感数据的文本表示中识别 ADL？
• RQ2 当可用的小量标注数据时，使用语义相似示例的少-shot 提示是否能提升 ADL 识别？
• RQ3 在公开的智能家居 ADL 数据集上，零-shot 的 ADL-LLM 与有监督基线相比如何？
• RQ4 不同传感模态和家庭布局对零-shot 基于 LLM 的识别有何影响？

主要发现

• 在公开的 ADL 数据集上，ADL-LLM 在零-shot 模式下的识别率与有监督基线具有竞争力。
• 在数据稀缺情境中，带有语义选择示例的少-shot 提示进一步提升了性能。
• 该系统依赖一个模块化管道，将传感流在 LLM 推理前转换为自然语言描述。
• 系统提示包含房间位置和可能的交互，以引导 LLM 推理。
• 使用正则表达式提取，并以余弦相似度作为回退，确保当 LLM 输出偏离预期标签时仍能稳健地标注活动。

Figure 2 . An example of Window2Text in action on the UCI ADL dataset