[論文レビュー] Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning

Mattia Silvestri, Senne Berden+5 more|arXiv (Cornell University)|Jul 11, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用数 3

ひとこと要約

本稿では、目的関数および制約関数にパラメータを含む最適化問題、特に非線形および確率的設定においても適用可能な、スコア関数勾配推定（SFGE）を用いた意思決定焦点学習フレームワークを提案する。パラメータの分布を予測し、SFGEを活用することで、組合せ最適化におけるゼロ勾配問題を克服し、ナップサック問題およびマルチカバー問題において、予測焦点学習よりも低いレグRETおよび不実行度を達成した。

ABSTRACT

Many real-world optimization problems contain parameters that are unknown before deployment time, either due to stochasticity or to lack of information (e.g., demand or travel times in delivery problems). A common strategy in such cases is to estimate said parameters via machine learning (ML) models trained to minimize the prediction error, which however is not necessarily aligned with the downstream task-level error. The decision-focused learning (DFL) paradigm overcomes this limitation by training to directly minimize a task loss, e.g. regret. Since the latter has non-informative gradients for combinatorial problems, state-of-the-art DFL methods introduce surrogates and approximations that enable training. But these methods exploit specific assumptions about the problem structures (e.g., convex or linear problems, unknown parameters only in the objective function). We propose an alternative method that makes no such assumptions, it combines stochastic smoothing with score function gradient estimation which works on any task loss. This opens up the use of DFL methods to nonlinear objectives, uncertain parameters in the problem constraints, and even two-stage stochastic optimization. Experiments show that it typically requires more epochs, but that it is on par with specialized methods and performs especially well for the difficult case of problems with uncertainty in the constraints, in terms of solution quality, scalability, or both.

研究の動機と目的

• 線形目的関数に限定され、かつパラメータ予測を目的関数にのみ許容する従来の意思決定焦点学習（DFL）手法の制限を克服すること。
• 不確実なパラメータが目的関数および制約関数の両方に現れる問題、特に非線形および組合せ最適化問題へのDFLの拡張を図ること。
• 2段階問題におけるリカバリー行動やペナルティコストを含む確率的最適化設定において、予測モデルの有効な訓練を可能にすること。
• 組合せ最適化におけるゼロ勾配問題を、分布予測とスコア関数勾配推定（SFGE）を用いて解決すること。
• 特に高いペナルティ制度下においても、SFGEベースのDFLが従来の予測焦点学習（PFL）よりも意思決定の質および実行可能性において優れていることを実証すること。

提案手法

• ニューラルネットワークを用いて未知パラメータの分布を点推定ではなく予測することで、勾配ベース最適化を可能にする。
• 最適化解が微分可能でない場合でも、タスク損失の予測モデルパラメータに関する勾配を計算するために、スコア関数勾配推定（REINFORCE）を採用する。
• 予測誤差による意思決定の劣化を考慮するpost-hocレグRET損失をタスクの目的関数として用いる。これは、パラメータが制約に影響を与える場合でも有効である。
• 決定的問題（例：重みが不確実なナップサック問題）および確率的問題（例：需要とリカバリーコストが確率的である重み付きマルチカバー問題）の両方へ適用する。
• SFGEを用いて最適化手順全体を通してバックプロパゲーションを実行し、予測と意思決定の質を同時に最適化するエンドツーエンドの訓練を実現する。
• 確率的問題では、需要の分布を予測するための確率的モデル（多変量正規分布）を用い、SAA法と統合して比較を行う。

実験結果

リサーチクエスチョン

• RQ1 スコア関数勾配推定は、目的関数および制約関数の両方にパラメータが現れる最適化問題において、意思決定焦点学習を可能にするか？
• RQ2 SFGEベースのDFLは、従来の暗黙的微分法が失敗する非線形および組合せ最適化問題に対しても効果的に対処できるか？
• RQ3 確率的最適化設定において、SFGEベースのDFLは意思決定の質および実行可能性の観点で予測焦点学習を上回るか？
• RQ4 2段階確率的最適化問題において、不確実性またはペナルティコストが増加するに従い、この手法のスケーリング特性はどのように変化するか？
• RQ5 真のパラメータが目的関数に加え、制約を通じて実行可能性に影響を与える問題に対しても、SFGEベースのDFLは一般化可能か？

主な発見

• 重みが不確実なナップサック問題において、SFGEはPFLの1.18±0.62から相対post-hocレグRETを0.850±0.264に低下させ、実行可能性が12%向上した。
• ρ=10の重み付きマルチカバー問題において、SFGEはPFLの17.8±13.3に比べ、相対post-hocレグRETを3.47±1.73にまで低下させた。
• ρ=10の条件下で、SFGEはPFLの0.63±0.11から不実行度比を0.12±0.06に低下させ、制約の満たし具合が向上した。
• 100サンプルのシナリオを用いても、PFL+SAAはレグRETでSFGEを上回れず、推論時の計算コストは最低10倍以上かかった。
• ペナルティ係数が高くなるに従い、SFGEとPFLの性能差が拡大し、SFGEの高コスト不確実性下でのロバストネスが示された。
• SFGEは、従来のDFLでは不可能であった、制約に依存するパラメータや非線形目的関数を含む問題に対しても、有効な訓練を可能にした。