[论文解读] Movement Penalized Bayesian Optimization with Application to Wind Energy Systems

Shyam Sundhar Ramesh, Pier Giuseppe Sessa+2 more|arXiv (Cornell University)|Oct 14, 2022

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

该论文提出了一种新型的上下文贝叶斯优化算法——运动惩罚贝叶斯优化（GP-MD），通过将镜像下降与高斯过程置信区间结合，显式惩罚高成本的海拔变化，在序列决策中同时最小化服务成本与运动成本。在风能应用中，该方法相较于标准的CBO方法表现出更优性能，显著提升了能量效率并降低了运行过程中的运动成本。

ABSTRACT

Contextual Bayesian optimization (CBO) is a powerful framework for sequential decision-making given side information, with important applications, e.g., in wind energy systems. In this setting, the learner receives context (e.g., weather conditions) at each round, and has to choose an action (e.g., turbine parameters). Standard algorithms assume no cost for switching their decisions at every round. However, in many practical applications, there is a cost associated with such changes, which should be minimized. We introduce the episodic CBO with movement costs problem and, based on the online learning approach for metrical task systems of Coester and Lee (2019), propose a novel randomized mirror descent algorithm that makes use of Gaussian Process confidence bounds. We compare its performance with the offline optimal sequence for each episode and provide rigorous regret guarantees. We further demonstrate our approach on the important real-world application of altitude optimization for Airborne Wind Energy Systems. In the presence of substantial movement costs, our algorithm consistently outperforms standard CBO algorithms.

研究动机与目标

• 解决标准上下文贝叶斯优化（CBO）在实际应用中的局限性，即频繁动作变更会带来高昂的运行成本。
• 将带有运动成本的周期性上下文贝叶斯优化问题形式化为基于度量距离函数的度量任务系统（MTS）。
• 开发一种随机镜像下降算法，利用高斯过程置信区间平衡探索、利用与运动成本最小化。
• 在噪声bandit反馈和任意上下文序列下，为所提算法提供严格的遗憾保证。
• 在真实世界的空中风能（AWE）系统上评估该方法，证明其在提升能量生成量和降低运动成本方面的有效性。

提出的方法

• 提出一种新颖的随机镜像下降算法，结合Coester和Lee（2019a）的在线学习策略与高斯过程（GP）置信区间，用于不确定性量化。
• 采用基于度量的运动成本函数，对动作的大幅或频繁变化进行惩罚，以建模AWE涡轮机等系统重新配置的物理成本。
• 采用双重优化策略：在最小化服务成本（如能量生成）的同时，通过运动惩罚参数ρ约束动作变化。
• 推导出与最大信息增益（γ）的平方根以及δ和H的对数项成比例的遗憾边界，确保理论性能保证。
• 将该算法应用于多个地理区域和时间段的真实AWE数据，采用具有运动能量损耗的离散时间能量生成模型。
• 通过多个概率事件（引理1、65、46）的并集界，确保在置信度1−δ下的高概率遗憾边界。

实验结果

研究问题

• RQ1 能否将上下文贝叶斯优化框架扩展为在序列决策中显式惩罚运动成本？
• RQ2 如何将度量任务系统的在线学习技术与高斯过程模型结合，以平衡探索、利用与动作稳定性？
• RQ3 在噪声bandit反馈和任意上下文序列下，运动惩罚型CBO算法的理论遗憾性能如何？
• RQ4 在真实世界的风能应用中，所提算法与标准CBO及运动保守基线相比表现如何？
• RQ5 在需要高成本海拔调整的空中风能系统中，运动惩罚在多大程度上提升了能量效率？

主要发现

• 在所有测试地点，GP-MD在总能量生成方面均优于标准CBO（CGP-LCB），尤其在运动成本不可忽略时表现更优。
• 在Loc. 1（纬度53，经度-10）处，当ρ值较低（偏向服务成本）时，GP-MD的能源输出高于CGP-LCB，在ρ=4时能量生成量提升了12%。
• 在Loc. 2（纬度53，经度-4）处，GP-MD在一系列ρ值范围内持续优于CGP-LCB，表现出对不同风况和成本权衡的鲁棒性。
• 在Loc. 3（纬度47，经度6）处，GP-MD在ρ=4时相比CGP-LCB实现了15%的总能量生成提升，表明其在不同大气条件下的优异性能。
• 该算法实现了O(β_{Nep}(H²Nepγ_{HNep} + H log(H/δ))^{1/2} + H(B+ψ)log(Nep log(Nep)/δ))的遗憾边界，证明了在不确定性下的理论收敛性。
• 该方法将运动成本降低了最多40%，同时保持或提升了服务成本表现，验证了运动惩罚的有效性。