[论文解读] Latent hypernet: Exploring all Layers from Convolutional Neural Networks

Artur Jordão, Ricardo Barbosa Kloss+1 more|arXiv (Cornell University)|Nov 7, 2017

Context-Aware Activity Recognition Systems参考文献 15被引用 3

一句话总结

本文提出了一种名为潜在超网络（Latent HyperNet, LHN）的方法，通过将所有卷积层的特征图经部分最小二乘法（Partial Least Squares）投影到共享潜在空间后进行拼接与分类，从而提升卷积神经网络（ConvNets）在人体活动识别（HAR）任务中的性能。该方法在不增加推理时间的前提下，将识别准确率最高提升了5.1个百分点。

ABSTRACT

Since Convolutional Neural Networks (ConvNets) are able to simultaneously learn features and classifiers to discriminate different categories of activities, recent works have employed ConvNets approaches to perform human activity recognition (HAR) based on wearable sensors, allowing the removal of expensive human work and expert knowledge. However, these approaches have their power of discrimination limited mainly by the large number of parameters that compose the network and the reduced number of samples available for training. Inspired by this, we propose an accurate and robust approach, referred to as Latent HyperNet (LHN). The LHN uses feature maps from early layers (hyper) and projects them, individually, onto a low dimensionality space (latent). Then, these latent features are concatenated and presented to a classifier. To demonstrate the robustness and accuracy of the LHN, we evaluate it using four different networks architectures in five publicly available HAR datasets based on wearable sensors, which vary in the sampling rate and number of activities. Our experiments demonstrate that the proposed LHN is able to produce rich information, improving the results regarding the original ConvNets. Furthermore, the method outperforms existing state-of-the-art methods.

研究动机与目标

• 为解决标准卷积神经网络在HAR任务中参数量过高以及对小规模训练集敏感的问题。
• 探究卷积神经网络早期层的特征是否包含可提升分类性能的判别性信息，当与深层表示结合时。
• 开发一种轻量化、即插即用的方法，以提升卷积神经网络性能，而无需修改网络架构或重新训练。
• 验证该方法在不同HAR数据集上的鲁棒性与泛化能力，涵盖多种传感器配置与活动类别数量。

提出的方法

• 该方法从预训练的卷积神经网络中提取每个最大池化层的特征图。
• 利用部分最小二乘法（PLS）——一种有监督的降维技术——将每一层的特征图投影至低维潜在空间。
• 将所有层的潜在特征拼接为单一表示用于分类。
• 分类器在拼接后的潜在特征上进行训练，而原始卷积神经网络的权重保持冻结。
• 该方法与网络架构无关，可应用于任意卷积神经网络，无需重新训练或修改架构。
• 该方法在五个公开的HAR数据集上进行评估，涵盖不同的采样率与活动类别。

实验结果

研究问题

• RQ1 当与深层特征结合时，卷积神经网络的早期层特征是否能提供互补的判别性信息以提升HAR性能？
• RQ2 与仅使用最后一层特征相比，将多层特征投影至共享潜在空间是否能提升识别准确率？
• RQ3 所提出的方法是否能在不增加推理阶段计算成本的前提下提升性能？
• RQ4 在多种数据集上，LHN方法与当前最先进的基于卷积神经网络的HAR方法相比表现如何？

主要发现

• 在五个HAR数据集上，LHN方法相较于现有最先进方法，平均提升了5.1个百分点的识别准确率。
• 在USCHAD数据集上，LHN比之前最先进方法高出5.1个百分点，达到98.7%的识别率。
• 在UTD-MHAD1数据集上，尽管活动类别数量较多，LHN仍比之前最佳方法提升了5.3个百分点。
• 该方法在预测时间上与原始卷积神经网络保持统计等价，未显著增加推理成本。
• 即使不使用LHN，所提出的ConvNet3架构本身也因更大的卷积核尺寸能捕捉更长的时序模式，而在性能上优于文献中已有的卷积神经网络架构。
• 在MHEALTH数据集上，将LHN应用于性能最佳的基线模型（Ha和Choi，2017）后，准确率提升了7.3个百分点，超越了之前的SOTA。