[論文レビュー] Foundation Models for Structural Health Monitoring

Luca Benfenati, Daniele Jahier Pagliari+7 more|arXiv (Cornell University)|Apr 3, 2024

Structural Health Monitoring Techniques被引用数 4

ひとこと要約

本論文は、加速度計からの振動データを自己教師付き事前学習で訓練した、Transformerベースのマスク化自己符号化器を用いた構造健康モニタリング（SHM）のための最初のファウンデーションモデルを紹介する。このアプローチは、異常検出（15ウィンドウで99.9%の精度）および交通荷重推定（R²最高0.97）で最先端の性能を達成しており、知識蒸留によりリソース制約のあるエッジデバイスに展開可能なコンactモデル（0.5 MB）の構築が可能である。

ABSTRACT

Structural Health Monitoring (SHM) is a critical task for ensuring the safety and reliability of civil infrastructures, typically realized on bridges and viaducts by means of vibration monitoring. In this paper, we propose for the first time the use of Transformer neural networks, with a Masked Auto-Encoder architecture, as Foundation Models for SHM. We demonstrate the ability of these models to learn generalizable representations from multiple large datasets through self-supervised pre-training, which, coupled with task-specific fine-tuning, allows them to outperform state-of-the-art traditional methods on diverse tasks, including Anomaly Detection (AD) and Traffic Load Estimation (TLE). We then extensively explore model size versus accuracy trade-offs and experiment with Knowledge Distillation (KD) to improve the performance of smaller Transformers, enabling their embedding directly into the SHM edge nodes. We showcase the effectiveness of our foundation models using data from three operational viaducts. For AD, we achieve a near-perfect 99.9% accuracy with a monitoring time span of just 15 windows. In contrast, a state-of-the-art method based on Principal Component Analysis (PCA) obtains its first good result (95.03% accuracy), only considering 120 windows. On two different TLE tasks, our models obtain state-of-the-art performance on multiple evaluation metrics (R$^2$ score, MAE% and MSE%). On the first benchmark, we achieve an R$^2$ score of 0.97 and 0.90 for light and heavy vehicle traffic, respectively, while the best previous approach (a Random Forest) stops at 0.91 and 0.84. On the second one, we achieve an R$^2$ score of 0.54 versus the 0.51 of the best competitor method, a Long-Short Term Memory network.

研究の動機と目的

• SHMにおけるラベル付きデータの不足に直面する課題を、大規模なラベルなし振動データを用いた自己教師付き事前学習によって解決すること。
• 異常検出や交通荷重推定といった複数のSHMタスクに一般化可能な統合型ファウンデーションモデルの開発。
• 知識蒸留によるモデル効率の最適化を通し、SHMシステムにおけるリソース制約のあるエッジノードへの展開を可能にすること。
• 実世界のSHMデータセットを用いて、ファウンデーションモデルがタスク特化型モデルや主成分分析（PCA）のような従来手法を上回ることを実証すること。
• 特に構造モニタリングにおけるエッジ展開を想定した場合に、モデルサイズと性能のトレードオフを明らかにすること。

提案手法

• 自己教師付き事前学習のために、実稼働中のバイアドクトから収集された3つの大規模かつ完全ラベル付きSHMデータセットを用いて、トランスフォーマー基盤のマスク化自己符号化器アーキテクチャを採用する。
• ラベルなしで事前学習を実施し、時間的系列データである加速度計データの汎用的表現を、マスクされたシーケンスの再構成を通じて学習する。
• ダウンストリームフェーズでは、実世界のデータ不足を模倣するために、ラベル付きデータのみを用いてタスク特化型のファインチューニングを実施する。
• 大規模な教師モデルをより小さな生徒モデルに圧縮するために、知識蒸留を適用し、性能を維持しながらモデルサイズを削減する。
• 複数の構成におけるモデル圧縮を評価し、異常検出および交通荷重推定タスクにおけるMAE%、R²、MSE%を指標に性能を測定する。
• 二段階の訓練プロトコルを採用：全データセットで事前学習（Pretrain All）を行い、その後タスクごとにファインチューニングを実施することで、多様なSHMシナリオにおけるトランスファー学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーと自己教師付き学習に基づくファウンデーションモデルは、構造健康モニタリングにおいてタスク特化型モデルを上回ることができるか？
• RQ2 マスク化自己符号化器を用いた振動データに対する自己教師付き事前学習は、ダウンストリームSHMタスクにおいてどの程度効果的か？
• RQ3 知識蒸留は、SHMシステムにおけるエッジ展開を想定した場合に、性能をほとんど損なわずにモデルサイズをどの程度削減できるか？
• RQ4 データセットのサイズと多様性は、ファウンデーションモデルの一般化能力にどのような影響を及えるか？
• RQ5 PCAのような最先端の手法と比較して、ファウンデーションモデルの性能は異常検出および交通荷重推定においてどの程度優れているか？

主な発見

• ファウンデーションモデルは、たった15の監視ウィンドウで99.9%の異常検出精度を達成し、PCAベースの手法が95.03%の精度に到達するまでに120ウィンドウを要するのに対し、顕著に優れている。
• 最初の交通荷重推定ベンチマークでは、軽量車両に対してR²スコア0.97、重い車両に対して0.85を達成し、それぞれ前回の最高記録0.91および0.84を上回った。
• 2番目の交通荷重推定ベンチマークでは、R²スコアが0.54を記録した一方で、既存の最良手法は0.10にとどまり、顕著な改善が確認された。
• 知識蒸留により、モデルサイズが195倍（98 MB → 0.5 MB）に縮小されたが、最も困難なデータセット（UC3）ではMAE%が8.6%低下し、性能の損失は最小限に抑えられた。
• 最小の生徒モデル（0.5 MB）はUC3で競争力のある性能を示し、ベースライン比で5%のMAE%低下を達成しながら、サイズは3.9倍小さくなった。これはエッジ展開への強力な可能性を示している。
• 3つのデータセットを統合して事前学習（Pretrain All）した場合、最も複雑なダウンストリームタスク（UC3）で最高の結果が得られ、多様な事前学習データが一般化能力向上に寄与することを示している。