[論文レビュー] Transfer Learning as an Essential Tool for Digital Twins in Renewable Energy Systems

Chandana Priya Nivarthi|arXiv (Cornell University)|Mar 9, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

本稿では、風力発電の予測や太陽光インバーターの異常検出を対象として、デジタルツインにおけるリモートセンシングの向上を目的に、特徴埋め込みを統合した転移学習（TL）フレームワークを提案する。類似したソースタスクからの知識を活用し、欠損データや入力長の変動に対処するための学習済み特徴埋め込みを用いることで、低データ環境下でのモデルの汎化性能と自律性が向上する。

ABSTRACT

Transfer learning (TL), the next frontier in machine learning (ML), has gained much popularity in recent years, due to the various challenges faced in ML, like the requirement of vast amounts of training data, expensive and time-consuming labelling processes for data samples, and long training duration for models. TL is useful in tackling these problems, as it focuses on transferring knowledge from previously solved tasks to new tasks. Digital twins and other intelligent systems need to utilise TL to use the previously gained knowledge and solve new tasks in a more self-reliant way, and to incrementally increase their knowledge base. Therefore, in this article, the critical challenges in power forecasting and anomaly detection in the context of renewable energy systems are identified, and a potential TL framework to meet these challenges is proposed. This article also proposes a feature embedding approach to handle the missing sensors data. The proposed TL methods help to make a system more autonomous in the context of organic computing.

研究の動機と目的

• 新規または進化中の発電所に特化した、ラベル付き学習データが不足する再生可能エネルギーシステムにおける課題に対処すること。
• 既存の類似システムからの知識を転送することで、デジタルツインがより迅速に展開され、性能が向上することを可能にすること。
• 実世界の再生可能エネルギー応用におけるデータ不足やセンサーの欠損データに対処するため、特徴埋め込みの新規アプローチを用いること。
• 回帰および異常検出タスクに転移学習を活用することで、デジタルツインシステムの自律性と自己学習能力を向上させること。
• 入力特徴のスケーラブルでタスク特化型の表現を構築し、入力長が可変な状況に対応するとともに、モデルの汎化性能を向上させること。

提案手法

• 再生可能エネルギーシステムにおけるドメインシフトとデータ不足の問題に対して、ラベル付きデータを有するソースドメインを活用してターゲットドメインの性能を向上させる転移学習の定式化を行う。
• 風力や太陽光エネルギーシステムにおける回帰タスク（例：1日先の出力予測）および異常検出に転移学習を適用する。
• 各入力特徴を埋め込み層で表現し、その値と組み合わせてタスク特化型の潜在表現を形成する、特徴埋め込み機構を設計する。
• 個々の特徴を個別に処理する特徴エンコーダ（per-feature neural networks）を経由し、グローバルプーリング層で出力を平均化することで、入力長に依存しない固定長の表現を生成する。
• モデル全体をエンドツーエンドで訓練し、タスクの最適化を目的に特徴埋め込みとモデルパラメータを同時に学習する。
• 構造的特徴依存関係（例：共通の潜在変数 Z₁ および Z₂ から導出される特徴）を持つ合成データを生成し、埋め込み空間が意味的に関連する特徴を正しくクラスタリングできるかを検証する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが不足する再生可能エネルギーシステム、特に風力発電の予測といった回帰タスクに、転移学習をどのように効果的に適用できるか。
• RQ2 学習済み特徴埋め込みは、欠損または可変長の入力特徴が存在する状況でも、モデルのロバスト性をどの程度向上できるか。
• RQ3 新しい再生可能エネルギーシステムに知識を転送する際、最も類似したソースタスクを選択する最適な戦略は何か。
• RQ4 デジタルツイン応用におけるゼロショットまたはフェイントショットの状況に、転移学習をどのように適合できるか。
• RQ5 タスク特化型の特徴埋め込みは、合成データ実験で観察されたように、潜在空間において意味的に関連する特徴をより良いクラスタリングで表現できるか。

主な発見

• 2次元可視化において、同じ潜在変数（例：Z₁ および Z₂）から導出された特徴が空間的に近接していることから、提案された特徴埋め込みアプローチが、潜在空間で関連する特徴を正しくクラスタリングしていることが実証された。
• 個別特徴エンコーダとグローバルプーリングを組み合わせたモデルアーキテクチャは、入力長の可変性に対処でき、欠損または動的センサー出力に対してもロバストである。
• 合成データ実験により、学習済み埋め込みが特徴間の本質的関係を捉えていることが確認された。共通のソース（例：Z₁）を持つ特徴は、整合性のあるクラスタを形成した。
• 転移学習とデジタルツインの統合により、ラベル付きデータが限られた新規または新設の再生可能エネルギー発電所に対しても、予測モデルの迅速な展開が可能になった。
• このフレームワークは、段階的知識獲得を可能とし、有機的コンピューティングおよび自己学習型デジタルツインシステムの原則と整合する。
• 実データセットを用いた予備評価により、TLを風力発電予測および太陽光インバーターの異常検出に適用可能であることが確認された。類似度測定とフェイントショット転送戦略の評価は継続中である。