[논문 리뷰] Foundation Models for Structural Health Monitoring

Luca Benfenati, Daniele Jahier Pagliari외 7명|arXiv (Cornell University)|2024. 04. 03.

Structural Health Monitoring Techniques인용 수 4

한 줄 요약

이 논문은 가속도계에서 수집한 진동 데이터를 사용하여 자기지도 학습 기반의 사전 훈련을 통해 훈련된 트랜스포머 기반 마스킹 오토인코더를 사용하는 구조적 건강 모니터링(SHM)을 위한 최초의 기초 모델을 소개한다. 이 방법은 이방성 탐지(15개 창문에서 99.9% 정확도) 및 교통 하중 추정(R² 최대 0.97)에서 최신 기술 수준(SOTA) 성능을 달성하며, 지식 정복을 통해 자원 제약이 있는 엣지 장치에 배포 가능한 소형 모델(0.5 MB)을 가능하게 한다.

ABSTRACT

Structural Health Monitoring (SHM) is a critical task for ensuring the safety and reliability of civil infrastructures, typically realized on bridges and viaducts by means of vibration monitoring. In this paper, we propose for the first time the use of Transformer neural networks, with a Masked Auto-Encoder architecture, as Foundation Models for SHM. We demonstrate the ability of these models to learn generalizable representations from multiple large datasets through self-supervised pre-training, which, coupled with task-specific fine-tuning, allows them to outperform state-of-the-art traditional methods on diverse tasks, including Anomaly Detection (AD) and Traffic Load Estimation (TLE). We then extensively explore model size versus accuracy trade-offs and experiment with Knowledge Distillation (KD) to improve the performance of smaller Transformers, enabling their embedding directly into the SHM edge nodes. We showcase the effectiveness of our foundation models using data from three operational viaducts. For AD, we achieve a near-perfect 99.9% accuracy with a monitoring time span of just 15 windows. In contrast, a state-of-the-art method based on Principal Component Analysis (PCA) obtains its first good result (95.03% accuracy), only considering 120 windows. On two different TLE tasks, our models obtain state-of-the-art performance on multiple evaluation metrics (R$^2$ score, MAE% and MSE%). On the first benchmark, we achieve an R$^2$ score of 0.97 and 0.90 for light and heavy vehicle traffic, respectively, while the best previous approach (a Random Forest) stops at 0.91 and 0.84. On the second one, we achieve an R$^2$ score of 0.54 versus the 0.51 of the best competitor method, a Long-Short Term Memory network.

연구 동기 및 목표

• 대규모 레이블이 없는 진동 데이터를 활용한 자기지도 사전 훈련을 통해 SHM에서 레이블이 부족한 문제를 해결하고자 한다.
• 이방성 탐지 및 교통 하중 추정과 같은 다양한 SHM 작업에 일반화할 수 있는 통합 기초 모델을 개발하고자 한다.
• 지식 정복을 통한 모델 효율성 최적화를 통해 자원이 제한된 엣지 노드에서 SHM 시스템에 배포 가능한 모델을 가능하게 하고자 한다.
• 기초 모델이 작업 특화 모델과 기존 방법(예: PCA)에 비해 실세계 SHM 데이터셋에서 우월한 성능을 보임을 입증하고자 한다.
• 특히 엣지 장치에 배포할 때 모델 크기와 성능 간의 상호 상충 관계를 탐색하고자 한다.

제안 방법

• 세 개의 대규모 완전 레이블링된 SHM 데이터셋(운영 중인 고속도로에서 수집)을 대상으로 트랜스포머 기반 마스킹 오토인코더 아키텍처를 사용해 자기지도 사전 훈련을 수행한다.
• 레이블 없이도 가속도계 시계열 데이터의 일반화된 표현을 마스킹된 시퀀스 재구성 기반으로 학습한다.
• 다운스트림 단계에서는 레이블 데이터만을 사용해 작업 특화 미세조정을 적용하여 실제 데이터 부족 상황을 시뮬레이션한다.
• 큰 교사 모델을 더 작은 학생 모델로 압축하기 위해 지식 정복을 적용하여 성능을 유지하면서 모델 크기를 줄인다.
• 다양한 구성에서 모델 압축을 평가하며, 이방성 탐지 및 교통 하중 추정 작업에서 MAE%, R², MSE%를 성능 측정 지표로 사용한다.
• 이중 단계 훈련 프로토콜을 적용한다: 모든 데이터셋에서 사전 훈련(Pretrain All) 후 작업별 미세조정을 통해 다양한 SHM 시나리오 간 전이 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 자기지도 학습 기반 기초 모델이 구조적 건강 모니터링에서 작업 특화 모델을 능가할 수 있는가?
• RQ2 마스킹 오토인코더를 활용한 자기지도 사전 훈련이 진동 데이터에 대해 다운스트림 SHM 작업에 얼마나 효과적인가?
• RQ3 지식 정복을 통해 모델 크기를 줄일 수 있는 정도는 무엇이며, 엣지 장치에 배포할 때 성능 손실 없이 가능할까?
• RQ4 데이터셋의 크기와 다양성이 기초 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 기초 모델의 성능은 이방성 탐지 및 교통 하중 추정에서 최신 기술 수준 방법(예: PCA)과 비교해 어떻게 되는가?

주요 결과

• 기초 모델은 단지 15개 모니터링 창문만으로도 99.9%의 이방성 탐지 정확도를 달성하며, PCA 기반 방법이 120개 창문이 필요로 하는 95.03% 정확도에 도달하기까지는 120개 창문이 필요로 하는 것과 비교해 뚜렷한 성능 우월성을 보였다.
• 첫 번째 교통 하중 추정 벤치마크에서, 경차에 대해 R² 점수 0.97, 중량차량에 대해 0.85를 기록했으며, 이는 이전 최고 성능인 0.91 및 0.84를 초월했다.
• 두 번째 교통 하중 추정 벤치마크에서, R² 점수 0.54를 기록했고, 기존 최고 성능 방법의 0.10과 비교해 근본적인 향상을 보였다.
• 지식 정복을 통해 모델 크기를 195배(98MB에서 0.5MB) 줄였으며, 가장 도전적인 데이터셋(UC3)에서 MAE%는 8.6% 감소시켰고 성능 손실는 최소한으로 유지했다.
• 가장 작은 학생 모델(0.5MB)은 UC3에서 경쟁 가능한 성능을 달성했으며, 기준 모델보다 3.9배 작고 MAE%는 5% 감소시켰다. 이는 엣지 장치에 배포 가능한 잠재력을 보여준다.
• 세 데이터셋을 모두 사전 훈련(Pretrain All)한 결과, 가장 복잡한 다운스트림 작업(UC3)에서 최고의 성능을 기록했으며, 다양한 사전 훈련 데이터의 이점이 일반화 능력 향상에 기여함을 입증했다.