[논문 리뷰] Target Tracking for Contextual Bandits: Application to Demand Side Management

Margaux Brégère, Pierre Gaillard외 2명|arXiv (Cornell University)|2019. 01. 28.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 기온과 같은 맥락적 요인을 기반으로 소비를 예측하기 위해 선형 및 일반화된 가산 모델을 사용하여 목표 평균 소비를 따라가도록 동적으로 전기 요금을 조정함으로써 수요 측 관리용 맥락 기반 밴딧 프레임워크를 제안한다. 이는 T^{2/3}의 정규화된 손실 한계를 달성하며, 영국 파워 네트워크 데이터를 활용한 실제 시뮬레이션에서 효과적인 수요 추적을 보여준다.

ABSTRACT

We propose a contextual-bandit approach for demand side management by offering price incentives. More precisely, a target mean consumption is set at each round and the mean consumption is modeled as a complex function of the distribution of prices sent and of some contextual variables such as the temperature, weather, and so on. The performance of our strategies is measured in quadratic losses through a regret criterion. We offer $T^{2/3}$ upper bounds on this regret (up to poly-logarithmic terms)---and even faster rates under stronger assumptions---for strategies inspired by standard strategies for contextual bandits (like LinUCB, see Li et al., 2010). Simulations on a real data set gathered by UK Power Networks, in which price incentives were offered, show that our strategies are effective and may indeed manage demand response by suitably picking the price levels.

연구 동기 및 목표

• 시간에 따라 변화하는 목표 평균 전기 소비를 따라가기 위해 맥락 기반 밴딧 알고리즘을 사용하는 동적 요금 책정 전략을 개발하는 것.
• 전기 소비를 요금 수준과 기상, 기온과 같은 맥락 변수의 함수로 모델링하는 것.
• 정규화된 손실 최소화를 통한 목표 소비 추적 오차 최소화를 위한 정규화된 손실 최소화 전략을 수립하는 것.
• 실제 영국 파워 네트워크 데이터를 기반으로 제안된 방법의 실용적 효과성을 입증하기 위해 평가를 수행하는 것.

제안 방법

• 선형 또는 일반화된 가산 모델을 사용하여 평균 소비를 요금 수준과 맥락 변수의 함수로 모델링한다.
• 공급자가 맥락에 기반하여 요금 할당을 선택함으로써 추적 오차를 최소화하는 맥락 기반 밴딧 알고리즘을 적용한다.
• LinUCB에서 영감을 얻은 신뢰 구간 접근법을 사용하며, 특징의 공분산 행렬의 역행렬에 기반한 정규화된 손실 분석을 수행한다.
• 관측된 평균 소비와 목표 간의 제곱 편차를 손실 함수로 정의하고, 농도 불등식을 사용하여 정규화된 손실을 한정한다.
• 이전 잔차로부터 추정된 경험적 공분산 행렬을 사용하여 노이즈 모델을 통합한다.
• 행렬 농도 및 로그 추적 불등식을 사용하여 이론적 한계를 유도함으로써 불확실성의 성장을 통제한다.

실험 결과

연구 질문

• RQ1 가격 인센티브를 조정함으로써 맥락 기반 밴딧 알고리즘이 전기 수요에서 이동하는 목표를 효과적으로 추적할 수 있는가?
• RQ2 이러한 목표 추적 설정에서 수요 측 관리에 대해 어떤 정규화된 손실 한계를 달성할 수 있는가?
• RQ3 실제 데이터에서 제안된 알고리즘의 성능은 기준 전략 대비 어떻게 비교되는가?
• RQ4 기온과 시간대와 같은 맥락 변수가 소비 예측 정확도에 어떤 영향을 미치는가?
• RQ5 어떤 조건에서 T^{2/3}보다 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• 일반적인 가정 하에, 제안된 알고리즘은 T^{2/3} 정규화된 손실 한계를 다항 로그 요소까지 고려해 높은 확률로 달성한다.
• 노이즈가 유한하고 특징 행렬이 잘 조절된 강력한 가정 하에, 더 빠른 수렴 속도가 가능하다.
• 영국 파워 네트워크의 실제 데이터를 활용한 시뮬레이션 결과, 가격 인센티브를 통해 목표 소비 수준을 효과적으로 추적할 수 있음을 확인하였다.
• 잔차의 경험적 공분산 행렬은 상당히 비대칭적이며, 이는 다양한 요금 수준 간에 노이즈가 상관되어 있음을 시사하며, 이는 모델이 이를 고려하고 있음을 의미한다.
• 변화하는 맥락과 소비 목표에 동적으로 대응함으로써 정적 요금 책정 전략보다 성능이 뛰어나다.
• 이론적 분석을 통해 알고리즘이 모델 매개변수의 신뢰 구간을 통해 탐색과 이용의 균형을 잘 유지함을 확인하였다.