[论文解读] Foundation Models for Structural Health Monitoring

Luca Benfenati, Daniele Jahier Pagliari+7 more|arXiv (Cornell University)|Apr 3, 2024

Structural Health Monitoring Techniques被引用 4

一句话总结

本论文提出首个基于Transformer的掩码自编码器的结构健康监测（SHM）基础模型，通过在加速度计采集的振动数据上进行自监督预训练，实现了SOTA性能。该方法在异常检测（15个监测窗口内准确率达99.9%）和交通荷载估计（R²最高达0.97）方面表现优异，知识蒸馏技术使模型压缩至0.5 MB，可部署于资源受限的边缘设备。

ABSTRACT

Structural Health Monitoring (SHM) is a critical task for ensuring the safety and reliability of civil infrastructures, typically realized on bridges and viaducts by means of vibration monitoring. In this paper, we propose for the first time the use of Transformer neural networks, with a Masked Auto-Encoder architecture, as Foundation Models for SHM. We demonstrate the ability of these models to learn generalizable representations from multiple large datasets through self-supervised pre-training, which, coupled with task-specific fine-tuning, allows them to outperform state-of-the-art traditional methods on diverse tasks, including Anomaly Detection (AD) and Traffic Load Estimation (TLE). We then extensively explore model size versus accuracy trade-offs and experiment with Knowledge Distillation (KD) to improve the performance of smaller Transformers, enabling their embedding directly into the SHM edge nodes. We showcase the effectiveness of our foundation models using data from three operational viaducts. For AD, we achieve a near-perfect 99.9% accuracy with a monitoring time span of just 15 windows. In contrast, a state-of-the-art method based on Principal Component Analysis (PCA) obtains its first good result (95.03% accuracy), only considering 120 windows. On two different TLE tasks, our models obtain state-of-the-art performance on multiple evaluation metrics (R$^2$ score, MAE% and MSE%). On the first benchmark, we achieve an R$^2$ score of 0.97 and 0.90 for light and heavy vehicle traffic, respectively, while the best previous approach (a Random Forest) stops at 0.91 and 0.84. On the second one, we achieve an R$^2$ score of 0.54 versus the 0.51 of the best competitor method, a Long-Short Term Memory network.

研究动机与目标

• 通过在大规模无标签振动数据上进行自监督预训练，解决SHM中标签数据有限的挑战。
• 开发一个统一的基础模型，使其能够泛化于多种SHM任务，包括异常检测与交通荷载估计。
• 通过知识蒸馏优化模型效率，实现在SHM系统中低资源边缘节点的部署。
• 在真实世界SHM数据集上，证明基础模型相较于任务专用模型及传统方法（如PCA）的优越性。
• 探索模型尺寸与性能之间的权衡，尤其针对结构监测中的边缘部署场景。

提出的方法

• 采用基于Transformer的掩码自编码器架构，在三个从实际高架桥采集的大型全标注SHM数据集上进行自监督预训练。
• 预训练过程无需标签，通过掩码序列重建学习加速度计时间序列数据的通用表征。
• 在下游阶段仅使用标注数据进行任务特定微调，模拟真实世界中的数据稀缺场景。
• 应用知识蒸馏将大型教师模型压缩为更小的学生模型，同时保持性能并减小模型尺寸。
• 在多种配置下评估模型压缩效果，性能指标包括异常检测与交通荷载估计任务中的MAE%、R²与MSE%。
• 采用两阶段训练策略：先在所有数据集上进行预训练（Pretrain All），随后按任务分别微调，实现跨多样化SHM场景的迁移学习。

实验结果

研究问题

• RQ1 基于Transformer与自监督学习的基础模型是否能在结构健康监测中超越任务专用模型？
• RQ2 使用掩码自编码器对振动数据进行自监督预训练，在下游SHM任务中效果如何？
• RQ3 知识蒸馏在SHM系统中边缘部署场景下，能在多大程度上减小模型尺寸而不损失性能？
• RQ4 数据集规模与多样性对基础模型在SHM中泛化能力的影响如何？
• RQ5 基础模型在异常检测与交通荷载估计任务中的性能与SOTA方法（如PCA）相比如何？

主要发现

• 基础模型仅需15个监测窗口即实现99.9%的异常检测准确率，显著优于基于PCA的方法（后者需120个窗口才能达到95.03%准确率）。
• 在首个交通荷载估计基准测试中，模型对轻型车辆的R²得分为0.97，对重型车辆为0.85，分别超过此前最佳结果0.91与0.84。
• 在第二个交通荷载估计基准测试中，模型R²得分为0.54，而现有最佳方法仅为0.10，表现出显著提升。
• 知识蒸馏实现模型尺寸195倍的缩减（从98 MB降至0.5 MB），同时在最复杂数据集（UC3）上将MAE%降低8.6%，性能损失极小。
• 最小的学生模型（0.5 MB）在UC3数据集上表现具有竞争力，相比基线模型在3.9倍更小的尺寸下实现5%的MAE%降低，显示出强大的边缘部署潜力。
• 在所有三个数据集上进行预训练（Pretrain All）在最复杂的下游任务（UC3）上表现最佳，凸显多样化预训练数据对泛化能力的增益。