[논문 리뷰] Movement Penalized Bayesian Optimization with Application to Wind Energy Systems

Shyam Sundhar Ramesh, Pier Giuseppe Sessa외 2명|arXiv (Cornell University)|2022. 10. 14.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 순차적 의사결정에서 서비스 비용과 이동 비용을 동시에 최소화하기 위해 미러 강하(mirror descent)와 가우시안 프로세스 신뢰구간을 통합한 새로운 연속적 베이지안 최적화 알고리즘인 이동 비용 보정 베이지안 최적화(GP-MD)를 제안한다. 이 알고리즘은 바람 에너지 응용 분야에서 표준 CBO 방법에 비해 뛰어난 성능을 보이며, 높이 변화에 따른 높은 비용을 명시적으로 보상함으로써 에너지 효율성을 크게 향상시키고 운영 이동 비용을 감소시킨다.

ABSTRACT

Contextual Bayesian optimization (CBO) is a powerful framework for sequential decision-making given side information, with important applications, e.g., in wind energy systems. In this setting, the learner receives context (e.g., weather conditions) at each round, and has to choose an action (e.g., turbine parameters). Standard algorithms assume no cost for switching their decisions at every round. However, in many practical applications, there is a cost associated with such changes, which should be minimized. We introduce the episodic CBO with movement costs problem and, based on the online learning approach for metrical task systems of Coester and Lee (2019), propose a novel randomized mirror descent algorithm that makes use of Gaussian Process confidence bounds. We compare its performance with the offline optimal sequence for each episode and provide rigorous regret guarantees. We further demonstrate our approach on the important real-world application of altitude optimization for Airborne Wind Energy Systems. In the presence of substantial movement costs, our algorithm consistently outperforms standard CBO algorithms.

연구 동기 및 목표

• 실제 응용에서 빈번한 행동 변경이 높은 운영 비용을 수반하는 문제를 해결하기 위해 표준 연속적 베이지안 최적화(CBO)의 한계를 해결하는 것.
• 거리 함수를 사용하는 메트릭 거리 기반의 메트릭 작업 시스템(MTS)으로서의 이执法 비용을 고려한 에피소드 기반 연속적 베이지안 최적화 문제를 수식화하는 것.
• 가우시안 프로세스 신뢰구간을 활용해 탐색, 이용, 이동 비용 최소화를 균형 잡는 랜덤화된 미러 강하 알고리즘을 개발하는 것.
• 노이즈가 있는 밴딧 피드백과 임의의 컨텍스트 시퀀스 하에서 제안된 알고리즘의 엄밀한 리그레트 보장을 제공하는 것.
• 실제 공중 바람 에너지(AWE) 시스템에서의 방법 평가를 통해 에너지 생성 성능 향상과 이동 비용 감소를 입증하는 것.

제안 방법

• Coester와 Lee(2019a)의 온라인 학습 전략과 가우시안 프로세스(GP) 신뢰구간을 융합한 새로운 랜덤화된 미러 강하 알고리즘을 제안한다. 이는 불확실성 정량화를 위해 사용된다.
• 행동의 크기 또는 빈도가 높은 변화를 방지하기 위해 거리 기반 이동 비용 함수를 사용하며, AWE 터빈과 같은 시스템의 물리적 재구성 비용을 모델링한다.
• 이중 최적화 전략을 적용한다: 서비스 비용(예: 에너지 생성)을 최소화하면서도 이동 보상 매개변수 ρ를 통한 행동 변화를 제약한다.
• 최대 정보 양(γ)의 제곱근과 δ, H에 대한 로그 항에 비례하는 리그레트 한계를 유도하여 이론적 성능 보장을 확보한다.
• 실제 AWE 데이터를 다양한 지리적 위치와 시간대에 걸쳐 적용하며, 이동 에너지 손실이 포함된 이산 시간 에너지 생성 모델을 사용한다.
• 다중 확률적 사건(Lemmas 1, 65, 46)에 대한 유니온 바운드를 적용하여 확률적으로 높은 리그레트 한계를 1−δ의 신뢰도로 확보한다.

실험 결과

연구 질문

• RQ1 순차적 의사결정에서 이동 비용을 명시적으로 보상하는 연속적 베이지안 최적화 프레임워크를 어떻게 확장할 수 있는가?
• RQ2 메트릭 작업 시스템을 위한 온라인 학습 기법을 가우시안 프로세스 모델과 통합하여 탐색, 이용, 행동 안정성 간의 균형을 어떻게 달성할 수 있는가?
• RQ3 노이즈가 있는 밴딧 피드백과 임의의 컨텍스트 시퀀스 하에서 이동 비용 보정 CBO 알고리즘의 이론적 리그레트 성능는 어떠한가?
• RQ4 실제 바람 에너지 응용 분야에서 제안된 알고리즘은 표준 CBO 및 이동 보존 기반 알고리즘과 비교해 어떻게 성능이 뛰어나게 되는가?
• RQ5 비용이 많이 드는 고도 조정이 수반되는 공중 바람 에너지 시스템에서 이동 비용 보정은 에너지 효율성을 얼마나 향상시키는가?

주요 결과

• 모든 테스트 지역에서 표준 CBO(CGP-LCB)보다 GP-MD가 총 에너지 생성량에서 뛰어난 성능을 보였다. 특히 이동 비용이 무시할 수 없는 경우 두드러진 성과를 보였다.
• Loc. 1(위도 53, 경도 -10)에서 GP-MD는 서비스 비용을 우선시하는 낮은 ρ 값에서도 CGP-LCB를 능가했으며, ρ=4일 때 에너지 생성량이 12% 향상되었다.
• Loc. 2(위도 53, 경도 -4)에서는 다양한 ρ 값 범위에서 GP-MD가 CGP-LCB를 일관되게 능가했으며, 다양한 바람 조건과 비용 트레이드오프에 대한 강건성을 입증했다.
• Loc. 3(위도 47, 경도 6)에서는 GP-MD가 ρ=4일 때 총 에너지 생성량을 CGP-LCB 대비 15% 향상시켰다. 이는 다양한 대기 조건 하에서도 뛰어난 성능을 보임을 시사한다.
• 알고리즘은 O(β_{Nep}(H²Nepγ_{HNep} + H log(H/δ))^{1/2} + H(B+ψ)log(Nep log(Nep)/δ))의 리그레트 한계를 확보하여 불확실성 하에서 이론적 수렴을 입증했다.
• GP-MD는 서비스 비용 성능를 유지하거나 향상시키면서도 CGP-LCB 대비 최대 40%까지 이동 비용을 감소시켜, 이동 비용 보정의 효과성을 입증했다.