[论文解读] DeepSafety:Multi-level Audio-Text Feature Extraction and Fusion Approach for Violence Detection in Conversations

Amna Anwar, Eiman Kanjo+1 more|arXiv (Cornell University)|Jun 23, 2022

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出DeepSafety，一种多模态深度学习框架，通过在多个层次上融合音频与文本特征（使用BERT、LSTM、MFCC及时域音频嵌入），实现对话中暴力行为的检测。通过三层次全连接网络整合异构特征，并采用决策层融合，该模型实现了0.85的F1分数，性能优于单一模态方法。

ABSTRACT

Natural Language Processing has recently made understanding human interaction easier, leading to improved sentimental analysis and behaviour prediction. However, the choice of words and vocal cues in conversations presents an underexplored rich source of natural language data for personal safety and crime prevention. When accompanied by audio analysis, it makes it possible to understand the context of a conversation, including the level of tension or rift between people. Building on existing work, we introduce a new information fusion approach that extracts and fuses multi-level features including verbal, vocal, and text as heterogeneous sources of information to detect the extent of violent behaviours in conversations. Our multilevel multimodel fusion framework integrates four types of information from raw audio signals including embeddings generated from both BERT and Bi-long short-term memory (LSTM) models along with the output of 2D CNN applied to Mel-frequency Cepstrum (MFCC) as well as the output of audio Time-Domain dense layer. The embeddings are then passed to three-layer FC networks, which serve as a concatenated step. Our experimental setup revealed that the combination of the multi-level features from different modalities achieves better performance than using a single one with F1 Score=0.85. We expect that the findings derived from our method provides new approaches for violence detection in conversations.

研究动机与目标

• 开发一种多模态系统，通过融合真实口语互动中的音频与文本特征，检测暴力行为。
• 通过整合异构模态，解决仅依赖文本或仅依赖音频方法的局限性，实现更丰富的上下文理解。
• 利用边缘计算支持的可穿戴设备实现实时暴力检测，提升个人安全与犯罪预防能力。
• 探索整合额外模态（如运动检测与距离感应）在增强物理暴力检测中的作用。
• 通过设备端处理与多信任层级数据共享模型，确保隐私安全。

提出的方法

• 从转录的音频对话中使用BERT和Bi-LSTM模型提取文本嵌入。
• 通过梅尔频率倒谱系数（MFCC）以及应用于频谱图的2D卷积神经网络，结合时域密集层输出，生成音频特征。
• 通过三层次全连接网络中的拼接操作，融合来自文本与音频模态的多层级特征。
• 通过组合不同模态分类器的决策结果，实施决策层融合，提升检测鲁棒性。
• 采用边缘计算架构，实现实时推理，支持设备端数据处理，降低隐私风险。
• 计划应用模型压缩技术（如滤波器剪枝与量化，例如二值化神经网络），以减少延迟与存储需求。

实验结果

研究问题

• RQ1 与单一模态方法相比，音频与文本特征的多层级融合是否能提升对口语对话中暴力行为的检测效果？
• RQ2 基于BERT的文本嵌入与音频特征（MFCC、时域特征）的整合，在捕捉暴力意图方面效果如何？
• RQ3 从转录语音中提取的心理语言学与上下文特征，在多大程度上提升了暴力分类的准确性？
• RQ4 边缘计算与设备端处理如何支持可穿戴系统中实时、隐私保护的暴力检测？
• RQ5 运动检测与距离感应等额外模态在检测物理暴力方面可能发挥何种作用？

主要发现

• 所提出的多层级多模态融合框架实现了0.85的F1分数，优于单一模态基线模型。
• 基于文本的特征，尤其是BERT嵌入，对性能的贡献显著高于仅使用音频特征的模型。
• MFCC与时域音频特征的整合，提升了模型检测情绪紧张与暴力相关突发变化的能力。
• 通过纵向主题建模，系统在检测语境依赖性暴力（如反讽与领域特定语言）方面表现出强鲁棒性。
• 滤波器剪枝与量化等模型压缩技术在减小模型尺寸与延迟方面具有可行性，有利于在边缘设备上部署。
• 通过设备端处理与多信任层级数据共享模型实现隐私保护部署，已被验证为可行且对实际应用至关重要。