[論文レビュー] Task-based End-to-end Model Learning in Stochastic Optimization

Priya L. Donti, Brandon Amos+1 more|arXiv (Cornell University)|Mar 13, 2017

Advanced Bandit Algorithms Research被引用数 126

ひとこと要約

本論文は、タスク損失を最適化することにより確率モデルを訓練し、在庫管理、グリッドスケジューリング、エネルギー貯蔵タスクの意思決定を改善する、エンドツーエンドのフレームワークを提示する。

ABSTRACT

With the increasing popularity of machine learning techniques, it has become common to see prediction algorithms operating within some larger process. However, the criteria by which we train these algorithms often differ from the ultimate criteria on which we evaluate them. This paper proposes an end-to-end approach for learning probabilistic machine learning models in a manner that directly captures the ultimate task-based objective for which they will be used, within the context of stochastic programming. We present three experimental evaluations of the proposed approach: a classical inventory stock problem, a real-world electrical grid scheduling task, and a real-world energy storage arbitrage task. We show that the proposed approach can outperform both traditional modeling and purely black-box policy optimization approaches in these applications.

研究の動機と目的

• 純粋な予測精度だけでなく、最終タスク目的を直接最適化する予測モデルの学習を動機づける。
• 不確実性の下でタスク損失を最小化するため、確率モデリングと確率的計画法を統合する。
• 最適化解を通じてタスク損失を伝搬させ、モデルを更新する微分可能なフレームワークを開発する。
• 在庫管理、電力生成スケジューリング、そしてバッテリ裁定取引においてこのアプローチを評価し、実践的な利得を示す。

提案手法

• タスク損失 L(θ) を定義する: L(θ) = E[f(x,y,z*(x;θ))] ただし z*(x;θ) は p(y|x;θ) を用いた確率的プログラムの解である。
• 分布 p(y|x;θ) を用いた(潜在的に制約付きの)確率的プログラムを解くことによって z*(x;θ) を計算する。
• KKT条件を用いて argmin を微分し ∂z*/∂θ を取得し、タスク損失および制約違反に導かれる勾配降下で θ を更新する。
• Algorithm 1 を提案し、z*(x;θ) の解決とタスク損失または違反した制約に基づく θ の更新を交互に行う。
• 必要に応じて確率的制約をペナルティ項として目的関数に移すことで処理する。
• SQP（逐次二次計画法）と最近の argmin 微分技術を適用して必要な勾配を計算する。

実験結果

リサーチクエスチョン

• RQ1 確率モデルは予測精度ではなくタスクベースの損失を直接最小化するように訓練できるか？
• RQ2 確率的プログラミング問題の解を通じて勾配を伝搬させてモデルパラメータを更新するにはどうすればよいか？
• RQ3 エンドツーエンドのタスクベースモデルは、実践的な確率的最適化タスクにおいて従来のMLEおよびモデルフリーポリシー最適化を上回るか？
• RQ4 制約付き/非制約のある確率的プログラムにおけるエンドツーエンドのタスクベース学習の利点とトレードオフは何か？

主な発見

• 評価されたタスクにおいて、タスクベースのエンドツーエンド手法は従来のMLEおよび純粋なポリシー最適化を大幅に上回る。
• 現実的なグリッドスケジューリングタスクでは、タスクベース手法が従来の確率的プログラミングベースのベースラインよりタスク損失を38.6%削減する。
• 真の分布が非線形であるか、モデルクラスにより部分的にしか表現できない場合でも手法は有効のままである。
• エネルギー価格予測では、タスクベースの手法はより信頼性の高いパフォーマンスをもたらし、価格急騰に対するヘッジになる。
• この手法は最適化解を微分することにより、制約付きおよび非制約の確率的プログラムの両方を適用できる。