[论文解读] Home Activity Monitoring using Low Resolution Infrared Sensor

Lili Tao, Timothy N. Volonakis+4 more|arXiv (Cornell University)|Nov 13, 2018

Context-Aware Activity Recognition Systems参考文献 15被引用 10

一句话总结

该论文提出了一种使用8×8低分辨率红外传感器阵列的隐私保护型家庭活动监测系统，通过二维离散余弦变换（DCT）提取空间与时间特征，随后采用SVM进行分类。该方法在新数据集上实现了87.50%的整体准确率和100%的跌倒检测灵敏度，展示了在日常活动识别中优异的性能，同时确保了用户隐私。

ABSTRACT

Action monitoring in a home environment provides important information for health monitoring and may serve as input into a smart home environment. Visual analysis using cameras can recognise actions in a complex scene, such as someones living room. However, although there the huge potential benefits and importance, specifically for health, cameras are not widely accepted because of privacy concerns. This paper recognises human activities using a sensor that retains privacy. The sensor is not only different by being thermal, but it is also of low resolution: 8x8 pixels. The combination of the thermal imaging, and the low spatial resolution ensures the privacy of individuals. We present an approach to recognise daily activities using this sensor based on a discrete cosine transform. We evaluate the proposed method on a state-of-the-art dataset and experimentally confirm that our approach outperforms the baseline method. We also introduce a new dataset, and evaluate the method on it. Here we show that the sensor is considered better at detecting the occurrence of falls and Activities of Daily Living. Our method achieves an overall accuracy of 87.50% across 7 activities with a fall detection sensitivity of 100% and specificity of 99.21%.

研究动机与目标

• 开发一种隐私保护型家庭监测系统，以避免视觉摄像头带来的伦理和社会问题。
• 评估使用8×8红外传感器阵列在家庭环境中进行粗粒度人体活动识别的可行性。
• 展示利用低分辨率热成像数据实现高精度跌倒和日常生活活动（ADLs）检测的能力。
• 引入一个新的基准数据集Infra-ADL2018，用于低分辨率红外成像的活动识别。
• 在现有和新数据集上，将所提出的基于DCT的方法与基线方法进行比较，以验证性能。

提出的方法

• 系统使用安装在天花板上的松下Grid-EYE 8×8红外传感器阵列实时捕获热成像数据。
• 通过在每一帧上应用二维离散余弦变换（DCT）提取空间特征，重点关注DCT矩阵左上角的3×3系数。
• 通过将一系列帧的DCT系数拼接，提取时间特征，以表征运动动态。
• 使用拼接后的时空特征训练多类线性支持向量机（SVM）进行活动分类。
• 采用10折交叉验证在Coventry-Activity数据集上评估，采用留一主体交叉验证在新数据集Infra-ADL2018上评估。
• 传感器的低分辨率和热成像特性本身即具备隐私保护能力，可防止个体识别。

实验结果

研究问题

• RQ1 8×8低分辨率红外传感器阵列能否在家庭环境中有效识别日常人体活动？
• RQ2 所提出的基于DCT的特征提取方法在识别准确率方面与基线方法相比如何？
• RQ3 该传感器系统在多大程度上能够以高灵敏度和特异性检测跌倒事件？
• RQ4 传感器的安装位置和空间分辨率在多大程度上影响了类似活动（如静坐与静立）的可区分性？
• RQ5 一个新发布的公开数据集（Infra-ADL2018）是否能够支持低分辨率热成像活动识别的可靠评估？

主要发现

• 所提方法在包含七种不同活动的Infra-ADL2018数据集上实现了87.50%的整体识别准确率。
• 跌倒检测灵敏度达到100%，表明测试集中未发生任何漏检的跌倒事件。
• 跌倒检测特异性为99.21%，意味着极少的假阳性结果，仅有“从站立到坐下”的动作偶尔被误判为跌倒。
• 该方法在Coventry-Activity数据集上显著优于基线方法，尤其在“左右移动”和“前后移动”等高动态活动上表现更优。
• “静坐”与“静立”之间的混淆归因于天花板安装的传感器提供的俯视视角，导致两种动作产生相似的热成像模式。
• 使用多个传感器（S1、S2、S3）可提升识别性能，尤其在区分相似姿势方面效果显著。