[論文レビュー] PEFT-MuTS: A Multivariate Parameter-Efficient Fine-Tuning Framework for Remaining Useful Life Prediction based on Cross-domain Time Series Representation Model
PEFT-MuTSは、Independent Feature Tuning NetworkとMeta-Variable低秩融合、および安定性のためのゼロ初期化レグレッサを用いて、 few-shotデータで多変量RUL予測へ適応するクロスドメイン前提の単一変量時系列バックボーンを導入する。
The application of data-driven remaining useful life (RUL) prediction has long been constrained by the availability of large amount of degradation data. Mainstream solutions such as domain adaptation and meta-learning still rely on large amounts of historical degradation data from equipment that is identical or similar to the target, which imposes significant limitations in practical applications. This study investigates PEFT-MuTS, a Parameter-Efficient Fine-Tuning framework for few-shot RUL prediction, built on cross-domain pre-trained time-series representation models. Contrary to the widely held view that knowledge transfer in RUL prediction can only occur within similar devices, we demonstrate that substantial benefits can be achieved through pre-training process with large-scale cross-domain time series datasets. A independent feature tuning network and a meta-variable-based low rank multivariate fusion mechanism are developed to enable the pre-trained univariate time-series representation backbone model to fully exploit the multivariate relationships in degradation data for downstream RUL prediction task. Additionally, we introduce a zero-initialized regressor that stabilizes the fine-tuning process under few-shot conditions. Experiments on aero-engine and industrial bearing datasets demonstrate that our method can achieve effective RUL prediction even when less than 1\% of samples of target equipment are used. Meanwhile, it substantially outperforms conventional supervised and few-shot approaches while markedly reducing the data required to achieve high predictive accuracy. Our code is available at https://github.com/fuen1590/PEFT-MuTS.
研究の動機と目的
- 極めて限定的な劣化データ下でのRUL予測を動機づける。
- 多変量RULタスクのための微調整コストを最小化したクロスドメイン時系列前提バックボーンを提案。
- ゼロ初期化レグレッサを用いた安定した微調整レジームを開発。
- 単変量バックボーンの priors を保持しつつ効果的な多変量融合を可能にする。
提案手法
- 大規模なクロスドメインデータで単変量時系列バックボーンを事前学習（ Stage 1）。
- Stage 2 ではバックボーンを凍結し、PEFT-MuTSを調整可能モジュールとして挿入。
- Independent Feature Tuning Networkを用いて各変数を低秩マッピング（A_k, B_k）で独立処理。
- Meta-VariableベースのLow-Rank Feature Fusionを導入し、ゼロ初期化のメタ変数uとゲーティング機構で多変量情報を融合。
- SiLU活性化と残差風更新を適用し、事前学習済み特徴を保持しつつ安定した微調整を実現。
- 極めて小さなサンプル最適化を安定化させるゼロ初期化レグレッサを適用。
実験結果
リサーチクエスチョン
- RQ1クロスドメイン時系列の事前学習プリオリが、多変量データのfew-shot RUL予測を正確に可能にするか。
- RQ2単変量の事前学習バックボーンを最小限のパラメータで多変量RULタスクへ効果的に適用するには。
- RQ3ゼロ初期化レグレッサはfew-shot条件下で微調整を安定化させるか。
主な発見
| Methods | Metrics | FD002-1 | FD002-2 | FD002-3 | FD002-4 | FD004-1 | FD004-2 | FD004-3 | FD004-4 |
|---|---|---|---|---|---|---|---|---|---|
| Transfer Learning | MAE | 0.1529 ± 0.01 | 0.1391 ± 0.00 | 0.1467 ± 0.01 | 0.1573 ± 0.00 | 0.1072 ± 0.00 | 0.1225 ± 0.01 | 0.1222 ± 0.00 | 0.1469 ± 0.01 |
| Transfer Learning | MAPE(%) | 38.382 ± 2.28 | 28.280 ± 0.73 | 27.050 ± 0.80 | 26.410 ± 0.45 | 26.582 ± 0.75 | 26.828 ± 0.81 | 23.302 ± 0.88 | 22.976 ± 0.29 |
| Transfer Learning | RMSE | 0.2415 ± 0.01 | 0.2042 ± 0.00 | 0.2084 ± 0.01 | 0.1922 ± 0.01 | 0.2082 ± 0.00 | 0.2078 ± 0.00 | 0.1907 ± 0.00 | 0.2047 ± 0.00 |
| Full | MAE | 0.1831 ± 0.01 | 0.1821 ± 0.02 | 0.1861 ± 0.01 | 0.1792 ± 0.01 | 0.1228 ± 0.00 | 0.1434 ± 0.01 | 0.1417 ± 0.00 | 0.1748 ± 0.00 |
| Full | MAPE(%) | 47.466 ± 1.01 | 35.688 ± 3.90 | 32.160 ± 0.77 | 28.476 ± 0.53 | 30.870 ± 0.65 | 29.418 ± 1.56 | 0? ? | 26.192 ± 0.33 |
| Full | RMSE | 0.2756 ± 0.01 | 0.2395 ± 0.02 | 0.2344 ± 0.01 | 0.2259 ± 0.01 | 0.2242 ± 0.00 | 0.2123 ± 0.01 | 0.2351 ± 0.01 | 0.2707 ± 0.04 |
| Linear | MAE | 0.1872 ± 0.00 | 0.1952 ± 0.01 | 0.2141 ± 0.00 | 0.2304 ± 0.01 | 0.1388 ± 0.01 | 0.1497 ± 0.00 | 0.1884 ± 0.01 | 0.2233 ± 0.04 |
| Linear | MAPE(%) | 50.544 ± 0.85 | 49.638 ± 1.98 | 42.502 ± 0.57 | 41.292 ± 0.74 | 34.678 ± 0.91 | 34.388 ± 0.43 | 33.828 ± 0.42 | 34.828 ± 2.22 |
| Linear | RMSE | 0.2888 ± 0.01 | 0.2823 ± 0.01 | 0.2644 ± 0.00 | 0.2710 ± 0.01 | 0.2430 ± 0.01 | 0.2342 ± 0.00 | 0.2351 ± 0.01 | 0.2707 ± 0.04 |
| DTL | MAE | 0.2078 ± 0.00 | 0.2015 ± 0.01 | 0.1972 ± 0.00 | 0.2005 ± 0.00 | 0.1593 ± 0.01 | 0.1900 ± 0.01 | 0.1685 ± 0.01 | 0.2014 ± 0.01 |
| DTL | MAPE(%) | 50.202 ± 1.05 | 35.672 ± 1.36 | 33.040 ± 0.90 | 31.4900 ± 0.36 | ||||
| DTL | RMSE | 0. | 0. | 0. | 0. |
- PEFT-MuTSは aero-engine（C-MAPSS FD002/FD004）および bearing（XJTU-SY）データセットの実験で、ターゲットデータの1%未満で有効なRUL予測を達成。
- 従来の監視学習法およびfew-shot法と比べて大幅に性能を上回りつつ、高精度予測のためのデータ要件を低減。
- Independent Feature Tuning Networkは単変量バックボーンの priorsを保持しつつ、低秩マッピングによる変数毎の特徴抽出を実現。
- Meta-VariableベースのLow Rank Feature Fusionにより、小さなパラメータフットプリントで多変量情報を融合。
- ゼロ初期化レグレッサは極端にデータが少ない条件下での微調整を安定化し、初期学習段階で勾配分散を低減。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。