[論文レビュー] Target Tracking for Contextual Bandits: Application to Demand Side Management

Margaux Brégère, Pierre Gaillard+2 more|arXiv (Cornell University)|Jan 28, 2019

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、気温などの文脈的要因に基づいて消費を予測するための線形モデルおよび一般化加法モデルを用いて、目標平均消費を追跡するように動的に電力料金を調整することにより、需要側管理のための文脈的バンディットフレームワークを提案する。T^{2/3}のレグルートバウンド（対数項を除く）を達成し、UK Power Networksの実データを用いたシミュレーションにおいて、実世界の有効性を示している。

ABSTRACT

We propose a contextual-bandit approach for demand side management by offering price incentives. More precisely, a target mean consumption is set at each round and the mean consumption is modeled as a complex function of the distribution of prices sent and of some contextual variables such as the temperature, weather, and so on. The performance of our strategies is measured in quadratic losses through a regret criterion. We offer $T^{2/3}$ upper bounds on this regret (up to poly-logarithmic terms)---and even faster rates under stronger assumptions---for strategies inspired by standard strategies for contextual bandits (like LinUCB, see Li et al., 2010). Simulations on a real data set gathered by UK Power Networks, in which price incentives were offered, show that our strategies are effective and may indeed manage demand response by suitably picking the price levels.

研究の動機と目的

• 時間的に変化する目標平均電力消費を追跡する動的料金戦略を構築すること。
• 電力消費を価格水準および気温や天候などの文脈変数の関数としてモデル化すること。
• レグルート最小化を通じて、目標消費の追跡における2次損失を最小化すること。
• UK Power Networksの実データを用いて、実用的有効性を実証するために、手法を評価すること。

提案手法

• 平均消費を価格タリフおよび文脈変数を用いて線形または一般化加法モデルでモデル化する。
• 提供者が文脈に基づいて価格配分を選択し、追跡誤差を最小化する文脈的バンディットアルゴリズムを採用する。
• LinUCBにインspiredされた信頼区間アプローチを用い、特徴量の共分散行列の逆行列に基づくレグルート解析を行う。
• 損失関数は、観測された平均消費と目標との間の二乗偏差として定義され、集中不等式を用いてレグルートをバウンドする。
• 履歴の残差から推定された実験的共分散行列を用いたノイズモデルを統合する。
• 行列集中および対数トレース不等式を用いて理論的バウンドを導出し、不確実性の成長を制御する。

実験結果

リサーチクエスチョン

• RQ1 価格インセンティブを調整することで、文脈的バンディットアルゴリズムは電力需要の移動目標を効果的に追跡できるか？
• RQ2 需要側管理の文脈的バンディット設定において、どのようなレグルートバウンドが達成可能か？
• RQ3 提案手法の性能は、実データにおけるベースライン戦略と比較してどうなるか？
• RQ4 気温や時間帯などの文脈変数が、消費予測精度に与える影響は何か？
• RQ5 どのような条件下で、T^{2/3}より速い収束レートが達成可能か？

主な発見

• 一般仮定の下で、提案手法は高い確率で、多項式対数因子を除いてT^{2/3}のレグルートバウンドを達成する。
• ノイズが有界で、特徴量行列が良好に条件付けられているというより強い仮定の下では、より速い収束レートが可能である。
• UK Power Networksの実データを用いたシミュレーションでは、価格インセンティブを用いて、目標消費レベルを効果的に追跡していることが示された。
• 残差の実験的共分散行列は顕著に非対角的であり、価格タリフ間でノイズが相関していることを示しており、モデルはこれを処理している。
• 文脈と消費目標の変化に動的に適応するため、静的料金戦略よりも優れた性能を示した。
• 理論的解析により、アルゴリズムがモデルパラメータの信頼区間を通じて、探索と活用のバランスをとっていることが確認された。