[논문 리뷰] Stochastic Games for Smart Grid Energy Management with Prospect Prosumers

S. Rasoul Etesami, Walid Saad외 2명|arXiv (Cornell University)|2016. 10. 06.

Smart Grid Energy Management참고 문헌 35인용 수 4

한 줄 요약

이 논문은 태양광 및 에너지 저장 장치를 갖춘 소비자-생산자(프로슈머)가 행동 편향을 모델링하기 위해 선점 이론을 사용하여 에너지 소비와 거래를 최적화하는 스마트 그리드 에너지 관리의 확률적 게임 프레임워크를 제안한다. 연구는 정적 나시 균형의 존재를 증명하고, 최소한의 정보 공유로 ϵ-나시 균형으로 수렴하는 분산 알고리즘을 제안하며, 동시에 이용자가 시간에 따라 최적의 에너지 할당을 학습하기 위한 무회귀 온라인 알고리즘을 제공한다.

ABSTRACT

In this paper, the problem of smart grid energy management under stochastic dynamics is investigated. In the considered model, at the demand side, it is assumed that customers can act as prosumers who own renewable energy sources and can both produce and consume energy. Due to the coupling between the prosumers' decisions and the stochastic nature of renewable energy, the interaction among prosumers is formulated as a stochastic game, in which each prosumer seeks to maximize its payoff, in terms of revenues, by controlling its energy consumption and demand. In particular, the subjective behavior of prosumers is explicitly reflected into their payoff functions using prospect theory, a powerful framework that allows modeling real-life human choices. For this prospect-based stochastic game, it is shown that there always exists a stationary Nash equilibrium where the prosumers' trading policies in the equilibrium are independent of the time and their histories of the play. Moreover, a novel distributed algorithm with no information sharing among prosumers is proposed and shown to converge to an $ε$-Nash equilibrium. On the other hand, at the supply side, the interaction between the utility company and the prosumers is formulated as an online optimization problem in which the utility company's goal is to learn its optimal energy allocation rules. For this case, it is shown that such an optimization problem admits a no-regret algorithm meaning that regardless of the actual outcome of the game among the prosumers, the utility company can follow a strategy that mitigates its allocation costs as if it knew the entire demand market a priori. Simulation results show the convergence of the proposed algorithms to their predicted outcomes and present new insights resulting from prospect theory that contribute toward more efficient energy management in the smart grids.

연구 동기 및 목표

• 불확실성 하에서 주관적이고 행동 편향이 있는 의사결정을 보이는 프로슈머를 고려한 스마트 그라이드의 에너지 관리 모델링.
• 탈중앙화된 에너지 거래에서의 확률적 재생 가능 에너지 생산 및 저장 동적 특성에 기인한 과제 해결.
• 최소한의 조율과 정보 공유로 프로슈머가 ϵ-나시 균형에 도달할 수 있도록 하는 분산 알고리즘 개발.
• 변동하는 프로슈머 행동에 기반해 에너지 할당을 동적으로 최적화하기 위한 이용자 기업을 위한 무회귀 온라인 학습 알고리즘 설계.
• 선점 이론 기반 행동을 통한 모델 검증을 통해 수렴성과 에너지 수요 예측 가능성 향상을 입증.

제안 방법

• 각 프로슈머의 보상에 선점 이론을 통합하여 손실 회피와 확률 가중치를 반영한 마르코프 결정 과정 기반의 확률적 게임으로 프로슈머 상호작용을 수립.
• 시간과 이력에 독립적인 정적 정책 프레임워크를 사용하여 나시 균형의 존재를 증명.
• 각 프로슈머가 국소적 관측과 점점 감소하는 단계 크기만을 기반으로 정책을 업데이트하는 분산형 비동기 알고리즘을 제안하며, 거의 확실하게 ϵ-나시 균형으로 수렴함.
• 이용자 기업을 위한 무회귀 온라인 학습 알고리즘을 활용하여, 회귀 최소화 프레임워크를 통해 시간에 따라 에너지 할당을 적응적으로 조정.
• 프로슈머가 과잉 재생 가능 에너지를 저장하고 향후 수요 부족을 방지할 수 있도록 저장 동적 특성을 모델에 통합.
• 세 명의 프로슈머를 대상으로 한 시뮬레이션을 통해 접근법을 검증하며, 재생 가능 에너지 신뢰성과 저장 수준을 다양하게 설정하여 수렴성과 회귀 감소를 입증.

실험 결과

연구 질문

• RQ1 선점 이론 기반 행동 선호와 불확실한 재생 가능 에너지 생산을 고려한 프로슈머의 확률적 게임에서 정적 나시 균형이 존재하는가?
• RQ2 완전한 정보나 전략을 공유하지 않더라도 분산 알고리즘이 프로슈머가 ϵ-나시 균형으로 수렴하도록 할 수 있는가?
• RQ3 프로슈머 행동이 확률적이고 비에르고딕적일 경우 이용자 기업의 에너지 할당 전략은 어떻게 작동하며, 어떤 성능 보장이 가능할 수 있는가?
• RQ4 정규 모델 대비 선점 이론이 스마트 그리드 에너지 관리의 현실성과 효율성에 얼마나 기여하는가?
• RQ5 프로슈머 행동에 대한 사전 지식 없이도 이용자 기업이 점점 줄어드는 회귀로 최적의 에너지 할당 규칙을 시간에 따라 학습할 수 있는가?

주요 결과

• 제안된 확률적 게임에서 정적 나시 균형이 존재하여, 선점 이론 기반 선호 조건 하에서 프로슈머의 안정적인 장기적 행동 보장.
• 제안된 분산 알고리즘이 최소한의 정보 교환으로 거의 확실하게 ϵ-나시 균형으로 수렴하여 탈중앙화된 의사결정 가능.
• 시뮬레이션 결과는 알고리즘이 예측된 균형 정책으로 수렴함을 확인하며, 프로슈머가 손실 회피와 저장 제약 조건에 따라 행동을 조정함.
• 이용자 기업의 회귀는 시간이 지남에 따라 감소하여 상호작용 횟수가 증가함에 따라 점차 0에 수렴하며, 특히 프로슈머 시장가 ϵ-나시 균형에 안정화된 후 더욱 두드러짐.
• 더 높은 재생 가능 에너지 신뢰성(예: μ₃=1, σ²₃=1)을 가진 프로슈머는 외부 에너지 필요를 줄이며 할당 분산도 낮아지지만, 덜 신뢰성 있는 프로슈머(예: μ₁=0.5, σ²₁=2)는 더 높고 불규칙적인 수요 변동을 보임.
• 이용자 기업의 에너지 할당 분산은 시간이 지남에 따라 감소하여, 프로슈머 행동이 안정화된 후 예측 가능성과 학습 효율성이 향상됨을 나타냄.