[論文レビュー] End-to-End Learning for Stochastic Optimization: A Bayesian Perspective

Yves Rychener, Daniel Kuhn Tobias Sutter+1 more|arXiv (Cornell University)|Jun 7, 2023

Reservoir Engineering and Simulation Methods被引用数 4

ひとこと要約

本稿は、確率的最適化におけるエンド・ツー・エンド学習のベイジアン解釈を提示し、標準的な学習手順が事後ベイズ行動写像を暗黙的に学習することを示している。ニューラル意思決定写像を用いて、経験的リスク最小化と分布ロバスト最適化のための新たなエンド・ツー・エンドアルゴリズムを提案し、合成的および実世界の経済的ディスpatch問題において、ベースラインと比較してより優れたテスト性能とロバスト性を示している。

ABSTRACT

We develop a principled approach to end-to-end learning in stochastic optimization. First, we show that the standard end-to-end learning algorithm admits a Bayesian interpretation and trains a posterior Bayes action map. Building on the insights of this analysis, we then propose new end-to-end learning algorithms for training decision maps that output solutions of empirical risk minimization and distributionally robust optimization problems, two dominant modeling paradigms in optimization under uncertainty. Numerical results for a synthetic newsvendor problem illustrate the key differences between alternative training schemes. We also investigate an economic dispatch problem based on real data to showcase the impact of the neural network architecture of the decision maps on their test performance.

研究の動機と目的

• 確率的最適化における標準的なエンド・ツー・エンド学習の原理的ベイジアン解釈を提供すること。
• 予測次第最適化する手法や標準的なエンド・ツー・エンド手法の限界を克服するため、ベイジアン推論を通じて事前知識と正則化を統合すること。
• ERMおよびDROのための意思決定写像を直接最適化する新たなエンド・ツー・エンド学習アルゴリズムを開発し、一般化性能とロバスト性を向上させること。
• ニューラルネットワークのアーキテクチャおよび観測情報の豊かさが、実世界の最適化問題における意思決定写像の性能に与える影響を調査すること。
• 不確実な環境下で、制約を考慮したアーキテクチャおよび最適化層を備えたエンド・ツー・エンド学習が、従来のベースラインよりも優れていることを実証すること。

提案手法

• 標準的なエンド・ツー・エンド学習が、ベイジアン意思決定理論フレームワーク下で事後ベイズ行動写像を学習していることを明らかにする。
• 経験的リスク最小化（ERM）と分布ロバスト最適化（DRO）の両方を対象とした、2つの新規エンド・ツー・エンドアルゴリズムを提案。両者とも勾配ベース最適化により訓練される。
• コンテキスト入力を最適意思決定へ写像するニューラルネットワークを意思決定写像として採用。制約の整合性を保つために、アーキテクチャが設計されており（例：CALレイヤーにおける再スケーリングされたシグモイド活性化関数を用いる）、実行可能性制約を尊重する。
• 最適化層（OPL）および制約を考慮したレイヤー（CAL）アーキテクチャを用い、元の最適化問題の構造をネットワークに直接埋め込む。
• 埋め込まれた最適化層のカールシュ＝クーン＝タッカー（KKT）条件を介して勾配の逆伝播を適用し、エンド・ツー・エンド学習を可能にする。
• 合成的ニュースベンダ問題および風力発電データを用いた実世界の経済的ディスパッチ問題を用いて、観測タイプおよびアーキテクチャごとの性能を比較して検証。

(a) NN vs ERM

実験結果

リサーチクエスチョン

• RQ1 確率的最適化における標準的なエンド・ツー・エンド学習は、ベイジアン意思決定理論とどのように関係しているか？
• RQ2 ベイジアン基盤に基づいて、エンド・ツー・エンド学習をERMおよびDROフレームワークに体系的に拡張できるか？
• RQ3 異なるニューラルネットワークアーキテクチャ（OPL対CAL）は、学習された意思決定写像の一般化性能およびロバスト性にどのように影響するか？
• RQ4 文脈的情報の豊かさ（例：短視眼的観測対歴史的観測）が、不確実な最適化問題におけるテスト性能に与える影響は何か？
• RQ5 非定常データを含む実世界の設定において、エンド・ツー・エンド学習は、MLEおよびlag-1といった従来のベースラインと比較してどのように異なるか？

主な発見

• エンド・ツー・エンド学習は、暗黙的に事後ベイズ行動写像を学習しており、学習プロセスに原理的ベイジアン解釈を提供している。
• 歴史的観測を用いたE2E-CALアーキテクチャが、10分間隔の頻度で平均テストコスト67.09を達成し、実行可能性とロバスト性の観点でオラクルベースライン（60.69）を上回った。
• E2E-OPL-Softplusアプローチは、すべての観測タイプおよび頻度で安定したテストコスト72.60を達成し、ロバスト性を示したが、CALよりコストが高かった。
• 最尤推定（MLE）は、過小評価に対する非対称ペナルティを無視する対称的損失関数のため、最高のテストコスト281.44（10分間隔）を示した。
• lag-1ベースラインは10分間隔で最も優れた性能（64.96）を示したが、30分間隔では定常性仮定の違反により失敗した。
• あまりに豊富な歴史的観測は、MLEおよびE2E-OPL-Softplusモデルで過学習を引き起こした一方、短視眼的観測が意思決定に最も有用な情報を提供していた。

(b) NN vs Posterior Mean