[論文レビュー] Enhancing Generalizability of Predictive Models with Synergy of Data and Physics

Yingjun Shen, Zhe Song+1 more|arXiv (Cornell University)|May 4, 2021

Neural Networks and Applications参考文献 35被引用数 7

ひとこと要約

本論文は、工業的予知保全における汎化性能を向上させるために、物理的原則とデータ駆動型モデリングを統合した再設計された機械学習プロセスを提案する。特徴量工学、強力なルールによるフィルタリング、および物理に基づくデータセグメンテーションを適用することで、KNN（k=3）などの単純なモデルを用いて多様な風力タービンで高い精度を達成した。実運用では深層学習よりも優れた性能を示したが、スコアはわずかに低かった。

ABSTRACT

Wind farm needs prediction models for predictive maintenance. There is a need to predict values of non-observable parameters beyond ranges reflected in available data. A prediction model developed for one machine many not perform well in another similar machine. This is usually due to lack of generalizability of data-driven models. To increase generalizability of predictive models, this research integrates the data mining with first-principle knowledge. Physics-based principles are combined with machine learning algorithms through feature engineering, strong rules and divide-and-conquer. The proposed synergy concept is illustrated with the wind turbine blade icing prediction and achieves significant prediction accuracy across different turbines. The proposed process is widely accepted by wind energy predictive maintenance practitioners because of its simplicity and efficiency. Furthermore, this paper demonstrates the importance of embedding physical principles within the machine learning process, and also highlight an important point that the need for more complex machine learning algorithms in industrial big data mining is often much less than it is in other applications, making it essential to incorporate physics and follow Less is More philosophy.

研究の動機と目的

• 純粋にデータ駆動型のモデルが工業的予知保全において一般化性能に欠ける問題に対処すること。
• 運用状態のばらつきやデータ制限がある中でも、異なる風力タービン間でモデル性能を向上させること。
• 機械学習プロセスに物理的原則を統合することで、精度と頑健性が向上することを示すこと。
• 産業的機械学習において「シンプルであるに越したことはない」という哲学を提唱し、複雑なアルゴリズムよりもプロセス最適化を重視すること。
• 実データと競争的ベンチマークを用いて、提案手法の有効性を検証すること。

提案手法

• データセグメンテーション、特徴量工学、ルールフィルタリングなどの主要サブプロセスに物理的原則を組み込んだ、従来の機械学習パイプラインの再設計。
• ノイズや不審なデータサンプルを物理的ルールでフィルタリングし、過学習を低減。
• 低速／高速風速などの運用状態に基づいたデータセグメンテーションを実施し、各状態に特化したモデルを訓練。
• センサデータと物理法則から説明可能で物理的に意味のある特徴量を設計し、モデルの解釈性と性能を向上。
• 安定性と計算効率を最優先し、厳密な検証を経て、KNN（k=3）などの単純で効率の良いアルゴリズムを選定。
• 5分割交差検証とブラインドテストを用いて、未観測のタービンにおける汎化性能を評価。

実験結果

リサーチクエスチョン

• RQ1 機械学習プロセスに物理的原則を統合することで、異なる産業資産間でのモデルの一般化性能が著しく向上するか？
• RQ2 実産業現場において、物理的知見を組み込んだ機械学習パイプラインは、従来のデータ駆動型アプローチと比べてどのように異なるか？
• RQ3 ドメイン知識を活用して学習プロセスを最適化した場合、単純な機械学習アルゴリズムが複雑な深層学習モデルを上回る性能を発揮できるか？
• RQ4 特徴量工学やルールフィルタリングなどのサブプロセスが、モデルの精度と頑健性をどの程度向上させるか？
• RQ5 産業的ビッグデータ応用において、モデルの複雑さと性能のトレードオフはどのようなものか？

主な発見

• WT15で学習しWT21でテストした場合、高速状態では84.21%、低速状態では96.70%のテストスコアを達成し、優れた一般化性能を示した。
• 実世界のコンペティションで2位となり、最終テストスコア82.01%を記録。優勝の82.54%（CNN-LSTM使用）をわずかに下回ったが、単純さと効率性で優れた評価を受けた。
• 合計実行時間は555.6秒で、特徴量工学に384.72秒を要したが、1位チームの6時間以上の前処理とトレーニングに比べて著しく高速だった。
• k=3のKNNモデルが最も高い安定性と一般化性能を示し、プロセスが最適化されていれば、アルゴリズムの単純さと高い性能が両立できることを確認した。
• データセグメンテーションや強力なルールフィルタリングといったサブプロセスを通じた物理的原則の統合が、モデル精度の向上と過学習の低減に顕著に寄与した。
• 本手法はドメインエキスパートおよび審査員から、単純さ、効率性、解釈可能性の観点で高く評価され、わずかな数値スコアの差にもかかわらず、最優秀プレゼンテーション賞を受賞した。