[论文解读] Multi-modality Sensor Data Classification with Selective Attention

Xiang Zhang, Lina Yao+5 more|arXiv (Cornell University)|Apr 16, 2018

Context-Aware Activity Recognition Systems参考文献 19被引用 6

一句话总结

本文提出了一种基于深度强化学习的框架，结合选择性注意力机制与一种新型的WAS-LSTM分类器，用于多模态可穿戴传感器数据分类。通过使用轻量级代理奖励模型加速焦点区域选择，该方法在EEG、RFID和IMU数据集上优于最先进基线方法的同时，将训练时间减少了98.3%。

ABSTRACT

Multimodal wearable sensor data classification plays an important role in ubiquitous computing and has a wide range of applications in scenarios from healthcare to entertainment. However, most existing work in this field employs domain-specific approaches and is thus ineffective in complex sit- uations where multi-modality sensor data are col- lected. Moreover, the wearable sensor data are less informative than the conventional data such as texts or images. In this paper, to improve the adapt- ability of such classification methods across differ- ent application domains, we turn this classification task into a game and apply a deep reinforcement learning scheme to deal with complex situations dynamically. Additionally, we introduce a selective attention mechanism into the reinforcement learn- ing scheme to focus on the crucial dimensions of the data. This mechanism helps to capture extra information from the signal and thus it is able to significantly improve the discriminative power of the classifier. We carry out several experiments on three wearable sensor datasets and demonstrate the competitive performance of the proposed approach compared to several state-of-the-art baselines.

研究动机与目标

• 解决面向复杂多模态可穿戴传感器数据的领域特定传感器分类方法在泛化能力方面的不足。
• 克服1D可穿戴传感器信号信息密度低（相较于图像或文本）的挑战。
• 开发一种通用、鲁棒且自适应的分类框架，能够跨不同传感器类型动态选择信息丰富的信号片段（焦点区域）。
• 在不牺牲性能的前提下，降低深度强化学习在焦点区域优化中的高计算成本。
• 捕捉传感器数据中的跨维依赖关系，以提升分类的判别能力。

提出的方法

• 引入一种选择性注意力机制，利用深度强化学习从传感器信号维度中识别出动态且最优长度的焦点区域。
• 设计一种具有四个动作（左移/右移、扩展、压缩）的双值DQN智能体，基于奖励模型迭代优化焦点区域。
• 提出一种代理奖励模型（G），其与真实分类器准确率（F）高度相关（相关系数 r = 0.8258），从而实现98.3%的训练加速。
• 开发一种加权平均空间LSTM（WAS-LSTM），通过使用可学习注意力权重聚合空间特征，以建模传感器信号中的跨维依赖关系。
• 应用数据复制与打乱策略，以增强特征多样性，并在训练过程中提升泛化能力。
• 将焦点区域选择与WAS-LSTM集成，实现端到端分类，支持实时推理能力。

实验结果

研究问题

• RQ1 基于强化学习的选择性注意力机制是否能有效识别跨多种可穿戴传感器类型的最具信息量的信号片段？
• RQ2 如何设计一种代理奖励模型，以在保持性能的前提下显著减少深度强化学习在传感器数据分类中的训练时间？
• RQ3 WAS-LSTM模型在多模态传感器信号中捕捉跨维依赖关系的程度如何，能否有效提升分类准确率？
• RQ4 所提出的框架是否能在无需领域特定调整的情况下，泛化应用于不同传感器模态（如EEG、IMU、RFID）？
• RQ5 当用轻量级代理奖励模型替代完整分类器时，计算效率与分类性能之间的权衡如何？

主要发现

• 所提方法在三个真实世界传感器数据集（EEG、RFID、IMU）上实现了具有竞争力的性能，优于最先进基线方法。
• 代理奖励模型（G）与真实分类器准确率（F）高度相关，相关系数为0.8258（p值 = 0.0115），验证了其作为有效代理的可行性。
• 使用代理奖励模型使焦点区域优化的训练时间减少了98.3%——从8个状态下的35,237.41秒降至601.58秒。
• WAS-LSTM分类器有效捕捉了传感器信号中的跨维依赖关系，增强了判别能力。
• 该框架在不同传感器类型上表现出强鲁棒性与适应性，支持在多模态传感器数据分类中实现通用应用。
• 该方法由于高效的动态焦点区域选择与轻量级推理流程，支持实时、快速响应的在线检测。