[论文解读] Fusion of Deep Neural Networks for Activity Recognition: A Regular Vine Copula Based Approach

Shan Zhang, Baocheng Geng+2 more|arXiv (Cornell University)|May 7, 2019

Context-Aware Activity Recognition Systems参考文献 30被引用 5

一句话总结

本文提出了一种基于正态逆高斯（R-Vine）Copula的融合方法，通过整合来自多个传感器的深度神经网络（DNN）提取的高层特征，实现人体活动识别。与传统融合层相比，该方法能更有效地建模复杂、非线性的跨模态依赖关系，在更少的训练样本下实现更高的F1分数（在STISEN数据集上为88.6%，在ANGUITA数据集上为92.8%），并提升了特征依赖关系的可解释性。

ABSTRACT

In this paper, we propose regular vine copula based fusion of multiple deep neural network classifiers for the problem of multi-sensor based human activity recognition. We take the cross-modal dependence into account by employing regular vine copulas that are extremely flexible and powerful graphical models to characterize complex dependence among multiple modalities. Multiple deep neural networks are used to extract high-level features from multi-sensing modalities, with each deep neural network processing the data collected from a single sensor. The extracted high-level features are then combined using a regular vine copula model. Numerical experiments are conducted to demonstrate the effectiveness of our approach.

研究动机与目标

• 解决多传感器人体活动识别（HAR）中非线性、跨模态依赖关系的挑战。
• 克服传统融合方法假设分类器输出为线性或独立关系的局限性。
• 通过利用深度神经网络进行特征提取，以及利用R-Vine Copula建模复杂依赖结构，提升分类性能。
• 与基于深度学习的融合层相比，减少融合过程所需的训练样本数量。
• 通过显式建模和可视化模态内与模态间的特征依赖关系，提升模型的可解释性。

提出的方法

• 在各个传感器（如加速度计、陀螺仪、手机、智能手表）的数据上独立训练多个深度神经网络（DNN），以提取高层特征。
• 将DNN的输出——代表各模态特性的特征——作为输入，输入至R-Vine Copula模型，以捕捉模态之间的复杂非线性依赖关系。
• R-Vine Copula结构通过分层构建，利用二元Copula，实现对高维依赖关系的灵活建模，其核心为成对Copula构造的级联。
• 模型构建包括：选择最优的R-Vine树结构，估计Copula参数（ϕ），并为每对二元组合选择最合适的Copula族（c*）。
• 最终通过结合R-Vine Copula所建模的联合概率分布，实现概率性分类决策。

实验结果

研究问题

• RQ1 R-Vine Copula能否有效建模多传感器HAR中DNN提取特征之间的非线性、跨模态依赖关系？
• RQ2 与传统融合方法（如全连接层或早期融合）相比，基于R-Vine Copula的融合方法在分类准确率和样本效率方面表现如何？
• RQ3 所提出的方法是否通过揭示模态间特征层级依赖结构，提升了可解释性？
• RQ4 不同传感器模态（如手机/手表 vs. 加速度计/陀螺仪）之间的融合性能差异有多大？
• RQ5 与端到端深度学习融合网络相比，R-Vine Copula模型是否能减少所需训练样本的数量？

主要发现

• 基于R-Vine Copula的融合方法在STISEN数据集上实现了88.6%的F1分数，在ANGUITA数据集上实现了92.8%的F1分数，优于单模态DNN和其它融合基线方法。
• R-Vine Copula模型仅需1,200个训练样本，而全连接融合层基线方法则需要6,000个样本。
• 手机与手表模态的融合表现出最高的性能提升，表明其具有更强的跨模态依赖关系，而R-Vine模型能有效捕捉这些关系。
• 第一级依赖结构显示，来自加速度计的特征h₃与来自陀螺仪的特征h₆高度相关，解释了跨模态交互的主要来源。
• 混淆矩阵显示，当融合手机和手表数据时，静态活动（如“坐”、“站”）实现了完美分类；而融合加速度计与陀螺仪数据时，对“行走”和“躺卧”等动态活动也表现出高准确率。
• R-Vine Copula模型通过显式可视化哪些特征之间依赖最强，提供了可解释性，而全连接融合层则具有黑箱特性。