[論文レビュー] Decision-Focused Learning: Through the Lens of Learning to Rank

Jayanta Mandi, Víctor Bucarey+2 more|arXiv (Cornell University)|Dec 7, 2021

Machine Learning and Data Classification被引用数 16

ひとこと要約

本稿では意思決定焦点学習を順序付け学習問題として再定式化し、目的関数値に基づいて妥当解を順序付けることを目的とする。異なる微分可能なポイントワイズ、ペairワイズ、リストワイズ順序付け損失関数を導入し、先行研究を一般化することで、最適化回数を削減しつつエンドツーエンドの学習を可能にするとともに、解のサブセットサンプリングによってレグレットを維持しつつ学習効率を向上させる。

ABSTRACT

In the last years decision-focused learning framework, also known as predict-and-optimize, have received increasing attention. In this setting, the predictions of a machine learning model are used as estimated cost coefficients in the objective function of a discrete combinatorial optimization problem for decision making. Decision-focused learning proposes to train the ML models, often neural network models, by directly optimizing the quality of decisions made by the optimization solvers. Based on a recent work that proposed a noise contrastive estimation loss over a subset of the solution space, we observe that decision-focused learning can more generally be seen as a learning-to-rank problem, where the goal is to learn an objective function that ranks the feasible points correctly. This observation is independent of the optimization method used and of the form of the objective function. We develop pointwise, pairwise and listwise ranking loss functions, which can be differentiated in closed form given a subset of solutions. We empirically investigate the quality of our generic methods compared to existing decision-focused learning approaches with competitive results. Furthermore, controlling the subset of solutions allows controlling the runtime considerably, with limited effect on regret.

研究の動機と目的

• 意思決定焦点学習を、妥当解を目的関数値に基づいて順序付けるという目的を持つ順序付け問題として再定式化すること。
• 機械学習モデルを意思決定焦点設定で訓練するために使用可能な、微分可能な順序付け損失関数（ポイントワイズ、ペアワイズ、リストワイズ）を開発すること。
• ペアワイズ順序付け損失が先行研究におけるノイズ対比推定損失を一般化しており、より原理的かつ改善された形でそれを超えること。
• 線形目的関数の下で、予測の平均二乗誤差（MSE）と意思決定品質のレグレットの間のトレードオフを調査すること。
• 訓練中に妥当解のサブセットをサンプリングすることで、実行時間に顕著な短縮効果が得られ、レグレットにほとんど影響を与えないことを示すこと。

提案手法

• 意思決定焦点学習を、妥当解を目的関数値に基づいて順序付ける学習-順序付け（LTR）問題として扱うことを提案する。
• ポイントワイズ、ペアワイズ、リストワイズの3種類の微分可能な順序付け損失関数を導入し、これらは解のサブセットが与えられれば閉形式で計算可能である。
• 線形目的関数の下で、ポイントワイズ損失およびペアワイズ差分損失がMSEとレグレットのトレードオフに対応することを導出する。
• 解の生成と損失計算を分離するために、解のサブセットサンプリング（$p_{\text{solve}}$）を用いる。
• MSEとリストワイズ順序付け損失の凸結合を用いて、予測精度と意思決定品質のバランスをとる。調整可能なハイパーパrameter $\alpha$ を用いる。
• 標準的な最適化ソルバを用いて解のサブセットを生成し、全妥当解の列挙を必要とせずに順序付け損失を計算する。

実験結果

リサーチクエスチョン

• RQ1 意思決定焦点学習を、妥当解を目的関数値に基づいて順序付けるという目的を持つ学習-順序付け問題としてより一般的に定式化できるか？
• RQ2 ポイントワイズ、ペアワイズ、リストワイズといった標準的な学習-順序付け損失関数は、既存の意思決定焦点学習手法と比較して、レグレットと学習効率の観点でどの程度優れているか？
• RQ3 意思決定焦点学習において、妥当解の集合をサブセットサンプリングすることで、レグレットと学習時間にどの程度の影響が生じるか？
• RQ4 線形目的関数の文脈において、予測の平均二乗誤差（MSE）とレグレットの関係は何か？
• RQ5 MSEとリストワイズ順序付け損失を組み合わせたハイブリッド損失は、予測精度と意思決定品質のトレードオフを改善できるか？

主な発見

• ペアワイズ差分損失関数はMulambaら（2021）のノイズ対比推定損失を一般化しており、より原理的かつ効果的な定式化を提供する。
• リストワイズ順序付け損失は、すべての問題インスタンスで最小のレグレットを達成し、モデルの誤指定に対しても堅牢であることが示された。
• 解のサンプリング率（$p_{\text{solve}}$）を100％から10％に低下させることで、1エポックあたりの学習時間を最大75％短縮でき、レグレットの増加は最小限に抑えられ、顕著な効率向上が確認された。
• ポイントワイズ損失は最小のMSEを達成したが、最大のレグレットを示し、予測精度と意思決定品質の間に乖離があることを示唆している。
• ペアワイズ差分損失は良好なバランスを達成しており、MSEはリストワイズにわずかに劣るが、レグレットは最良の手法と同等の水準であった。
• MSEとリストワイズ順序付け損失を組み合わせたハイブリッド損失により、ハイパーパrameter $\alpha$ を用いて予測精度と意思決定品質のトレードオフを調整可能となり、特定の用途に応じたモデルの適合が可能になった。