[論文レビュー] Meta-RL with Shared Representations Enables Fast Adaptation in Energy Systems

Théo Zangato, Aomar Osmani+1 more|arXiv (Cornell University)|Mar 9, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

要約: 論文は、エネルギー管理タスクへの迅速な適応を可能にする共有特徴量抽出器とアクター再利用メカニズムを備えたメタ強化学習フレームワーク（CFE）を提案し、CityLearnと独自EMSデータセットで検証している。基準よりも速い適応と最終性能の向上を達成する。

ABSTRACT

Meta-Reinforcement Learning addresses the critical limitations of conventional Reinforcement Learning in multi-task and non-stationary environments by enabling fast policy adaptation and improved generalization. We introduce a novel Meta-RL framework that integrates a bi-level optimization scheme with a hybrid actor-critic architecture specially designed to enhance sample efficiency and inter-task adaptability. To improve knowledge transfer, we meta-learn a shared state feature extractor jointly optimized across actor and critic networks, providing efficient representation learning and limiting overfitting to individual tasks or dominant profiles. Additionally, we propose a parameter-sharing mechanism between the outer- and inner-loop actor networks, to reduce redundant learning and accelerate adaptation during task revisitation. The approach is validated on a real-world Building Energy Management Systems dataset covering nearly a decade of temporal and structural variability, for which we propose a task preparation method to promote generalization. Experiments demonstrate effective task adaptation and better performance compared to conventional RL and Meta-RL methods.

研究の動機と目的

• 類似のエネルギー管理タスク間での政策適応を迅速化すること。
• 時空間変動を含むタスク間一般化を改善すること。
• アクターパラメータ再利用とタスク認識型メタ学習によるサンプル効率を向上させること。
• EMSタスク構造を活用してタスク間干渉と過学習を低減すること。

提案手法

• ハイブリッドアクター–クリティック構造を備えた2階層のメタRLフレームワークを導入すること。
• アクターとクリティックネットワーク間で共通の状態特徴抽出器（FE）をメタ学習すること。
• 再発するタスクのためにアクターパラメータを保存・再利用するタスク特化型アクター再利用機構を実装すること。
• FEとクリティック層に焦点を当てたメタパラメータ最適化を第一階のメタ学習（Reptile）更新で行うこと。
• 各タスクの内側ループ適応を共通FEで転移を可能にして処理すること。
• 多様で関連性のあるEMSタスクを定義するためにクラスタリングを行い、クラスタ間の一般化を評価すること。

実験結果

リサーチクエスチョン

• RQ1 共有表現はEMSメタRLタスクの転移とサンプル効率をどう改善するか？
• RQ2 アクター再利用機構は長期的なEMSタスクの適応を加速し、一般化を損なわないか？
• RQ3 FEとクリティックのメタ訓練が適応速度と最終性能にどう影響するか？
• RQ4 タスククラスタリングと選択は未見EMSプロファイルへのメタRL一般化にどう影響するか？

主な発見

K Round	平均充電サイクル数	CFE（本手法）	Vanilla Reptile	RL 2	CAVIA	Random	Pretrain	Final Costs (Ramping, Yearly cost)
15	4.8 ± 4.3	6.2 ± 3.5	17.5 ± 5.6	19.2 ± 2	58.6 ± 12.4	18.2 ± 2.8	—	—
30	14.3 ± 5.6	14.8 ± 4.1	17.3 ± 4.2	19.8 ± 1.9	45.3 ± 15.3	17.9 ± 1.7	—	—
300	20.5 ± 5.9	18.9 ± 3.6	18.1 ± 5.4	19.4 ± 2.4	16.4 ± 4.6	17.8 ± 2.2	—	—
600	0.9 a, 0.86 b	0.9 $,0.87$	1.10, 0.98	1.18, 1.02	$1.01,0.95$	$1.03 ± 0.96$	—	Final costs per method

• 提案されたCFEフレームワークは、CAVIAやPPOなどのベースラインと比較して、より速い適応と最終性能の向上を実現する。
• メタテストではエージェントが意味のある政策性能に早く到達し、適応サンプル複雑性をベースラインの約4分の1に抑える。
• 共有FEが性能向上に最も寄与し、トランスフォーマーベースのFEは漸近的性能が高い一方で適応が遅い。
• アクター再利用は長期的タスクと再発タスクが存在する場合に主に利益をもたらし、サンプル効率に寄与する。
• CityLearnと独自データの両方において、FEとARを備えたメタ訓練エージェントはランプニング最小化とコストでランダムおよび事前訓練ベースラインを上回る。