[論文レビュー] Movement Penalized Bayesian Optimization with Application to Wind Energy Systems

Shyam Sundhar Ramesh, Pier Giuseppe Sessa+2 more|arXiv (Cornell University)|Oct 14, 2022

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、ガウス過程の信頼区間を用いて、サービスコストと移動コストの両方を最小化する、新たな文脈的ベイズ最適化手法であるMovement Penalized Bayesian Optimization (GP-MD) を提案する。この手法は、鏡面降下法と組み合わせることで、順次意思決定において、高コストな高度変更を明示的にペナルティ化し、風力発電の応用において、標準的なCBO手法を上回る性能を発揮する。エネルギー効率の向上と運用コストの低減が顕著に実証された。

ABSTRACT

Contextual Bayesian optimization (CBO) is a powerful framework for sequential decision-making given side information, with important applications, e.g., in wind energy systems. In this setting, the learner receives context (e.g., weather conditions) at each round, and has to choose an action (e.g., turbine parameters). Standard algorithms assume no cost for switching their decisions at every round. However, in many practical applications, there is a cost associated with such changes, which should be minimized. We introduce the episodic CBO with movement costs problem and, based on the online learning approach for metrical task systems of Coester and Lee (2019), propose a novel randomized mirror descent algorithm that makes use of Gaussian Process confidence bounds. We compare its performance with the offline optimal sequence for each episode and provide rigorous regret guarantees. We further demonstrate our approach on the important real-world application of altitude optimization for Airborne Wind Energy Systems. In the presence of substantial movement costs, our algorithm consistently outperforms standard CBO algorithms.

研究の動機と目的

• 頻繁な行動変更が高コストを伴う実世界の応用において、標準的な文脈的ベイズ最適化（CBO）の限界に対処すること。
• メトリック距離関数に基づくメトリカルタスクシステム（MTS）として、移動コストを含むエピソード的文脈的ベイズ最適化問題を形式化すること。
• ガウス過程の信頼区間を用いて、探索、活用、移動コスト最小化のバランスを取る、確率的鏡面降下アルゴリズムを開発すること。
• ノイズのあるバンディットフィードバックおよび任意の文脈シーケンス下で、提案手法のレギュレート保証を厳密に提示すること。
• 実世界の空中風力エネルギー（AWE）システムを対象に評価し、エネルギー生成の向上と移動コストの低減を実証すること。

提案手法

• CoesterとLee（2019a）のオンライン学習戦略とガウス過程（GP）の信頼区間を組み合わせた、新規の確率的鏡面降下アルゴリズムを提案する。
• メトリックに基づく移動コスト関数を用いて、行動の大きな変化や頻度の高い変更をペナルティ化し、AWEタービンのようなシステムの物理的再設定コストをモデル化する。
• 二重最適化戦略を採用：サービスコスト（例：エネルギー発電）を最小化すると同時に、移動ペナルティパラメータρを用いて行動変更を制約する。
• 最大情報量ゲイン（γ）の平方根およびδとHに関する対数項に比例するレギュレートバウンドを導出することで、理論的性能保証を確保する。
• 複数の地理的場所と時間帯における実世界のAWEデータに、離散時間エネルギー発電モデルと移動エネルギー損失を組み合わせてアルゴリズムを適用する。
• 複数の確率的イベント（補題1, 65, 46）の和集合を用いて、信頼度1−δの高確率レギュレートバウンドを保証する。

実験結果

リサーチクエスチョン

• RQ1 順次意思決定において、移動コストを明示的にペナルティ化する文脈的ベイズ最適化フレームワークを拡張可能か？
• RQ2 メトリカルタスクシステムのためのオンライン学習技術を、ガウス過程モデルと統合することで、探索、活用、行動安定性のバランスを取れるか？
• RQ3 ノイズのあるバンディットフィードバックおよび任意の文脈シーケンス下で、移動ペナルティ付きCBOアルゴリズムの理論的レギュレート性能はいかほどか？
• RQ4 提案手法は、標準的なCBOおよび移動を抑制するベースラインと比較して、実世界の風力エネルギー応用で優れた性能を示すか？
• RQ5 移動ペナルティは、高コストな高度調整を伴う空中風力エネルギー系において、エネルギー効率をどの程度向上させるか？

主な発見

• GP-MDは、すべてのテスト地点で、CGP-LCB（標準的CBO）を上回る総エネルギー発電量を達成し、特に移動コストが無視できない場合に顕著な優位性を示した。
• Loc. 1（緯度53、経度-10）では、低ρ値（サービスコスト優先）の条件下でGP-MDがCGP-LCBを上回り、ρ=4の時点でエネルギー発電量が12%向上した。
• Loc. 2（緯度53、経度-4）では、ρ値の範囲にわたりGP-MDがCGP-LCBを一貫して上回り、風況の変化やコストトレードオフに対して高いロバストネスを示した。
• Loc. 3（緯度47、経度6）では、ρ=4の時点でGP-MDがCGP-LCB比で総エネルギー発電量を15%向上させ、異なる大気条件下でも優れた性能を発揮した。
• アルゴリズムは、O(β_{Nep}(H²Nepγ_{HNep} + H log(H/δ))^{1/2} + H(B+ψ)log(Nep log(Nep)/δ))というレギュレートバウンドを達成し、不確実性下での理論的収束性を証明した。
• GP-MDは、CGP-LCBと比較して移動コストを最大40%低減しながら、サービスコストの性能を維持または向上させた。これにより、移動ペナルティの有効性が裏付けられた。