[論文レビュー] On Data-Driven Prescriptive Analytics with Side Information: A Regularized Nadaraya-Watson Approach

Prateek R. Srivastava, Yijie Wang+2 more|arXiv (Cornell University)|Oct 10, 2021

Distributed Sensor Networks and Detection Algorithms被引用数 14

ひとこと要約

本稿では、補助情報を持つデータ駆動型意思決定分析のための正則化 Nadaraya-Watson カーネル回帰手法を提案する。分散に基づく正則化と分布的にロバストな最適化を用いることで、外挙動性能の保証を達成する。この手法は、扱いやすい2次錐計画法への再定式化を活用して、補助情報を通じて確率的最適化における意思決定の質を向上させる。

ABSTRACT

We consider generic stochastic optimization problems in the presence of side information which enables a more insightful decision. The side information constitutes observable exogenous covariates that alter the conditional probability distribution of the random problem parameters. A decision maker who adapts her decisions according to the observed side information solves an optimization problem where the objective function is specified by the conditional expectation of the random cost. If the joint probability distribution is unknown, then the conditional expectation can be approximated in a data-driven manner using the Nadaraya-Watson (NW) kernel regression. While the emerging approximation scheme has found successful applications in diverse decision problems under uncertainty, it is largely unknown whether the scheme can provide any reasonable out-of-sample performance guarantees. In this paper, we establish guarantees for the generic problems by leveraging techniques from moderate deviations theory. Our analysis motivates the use of a variance-based regularization scheme which, in general, leads to a non-convex optimization problem. We adopt ideas from distributionally robust optimization to obtain tractable formulations. We present numerical experiments for newsvendor and wind energy commitment problems to highlight the effectiveness of our regularization scheme.

研究の動機と目的

• 補助情報を有するデータ駆動型確率的最適化における外挙動性能保証の欠如に対処すること。
• 条件付き分散を制御することで一般化を向上させる正則化 Nadaraya-Watson 評価器の開発。
• 分布的にロバストな最適化技術を用いて、扱いやすい最適化問題を定式化すること。
• 新聞売りと風力エネルギー確保の意思決定問題のような実世界の意思決定問題において、正則化スキームの有効性を示すこと。
• カーネルベースの条件付き期待値推定と不確実性下でのロバスト意思決定の間のギャップを埋めること。

提案手法

• 外挙動性能の向上を図るため、Nadaraya-Watson 評価器に分散に基づく正則化スキームを提案する。
• 中程度の偏差理論を用いて、正則化評価器の性能保証を導出する。
• 双対性に基づく凸型双対性を用いて、正則化された最適化問題を2次錐計画法（SOCP）に再定式化する。
• 分散正則化によって生じる非凸性を扱うために、分布的にロバストな最適化技術を適用する。
• 加重された条件付き平均からの偏差に制約を課すことで、正則化問題の扱いやすい再定式化を導出する。
• 補助情報から導出されるカーネル重みを用いて、非パラメトリックな方法で条件付き期待値を計算する。

実験結果

リサーチクエスチョン

• RQ1 正則化 Nadaraya-Watson 評価器は、データ駆動型意思決定分析において理論的な外挙動性能保証を提供できるか？
• RQ2 分散に基づく正則化は、カーネルベースの条件付き期待値推定のロバスト性をどのように向上させるか？
• RQ3 得られた非凸最適化問題は、分布的にロバストな最適化を用いて扱いやすい形に再定式化可能か？
• RQ4 正則化手法の実効性は、線形意思決定ルールなどのベースライン手法と比較して、どのように実証されるか？
• RQ5 新聞売りや風力エネルギー確保の問題のような状況において、補助情報の組み込みが意思決定の質にどのように影響するか？

主な発見

• 提案された正則化 Nadaraya-Watson 評価器は、データ駆動型正則化スキームにより条件付き分散を制御することで、外挙動性能が向上する。
• 中程度の偏差理論を用いた理論的性能保証により、推定された条件付き期待値の収束が保証される。
• 非凸な正則化問題は、凸型双対性と分布的にロバストな最適化を用いて、扱いやすい2次錐計画法に再定式化される。
• 新聞売りと風力エネルギー確保問題における数値実験では、正則化手法が標準的な Nadaraya-Watson 法と線形意思決定ルール手法を上回る外挙動性能を示す。
• 最適な正則化パラメータ $λ$ は、経験的外挙動リターンを最大化するように選択され、このスキームの実用的有効性が実証される。
• ポートフォリオの例では、補助情報を無視すると期待リターンが29%悪化するため、共変数を組み込む価値が明確に示される。