[論文レビュー] Automatically Learning Compact Quality-aware Surrogates for Optimization Problems

Kai Wang, Bryan Wilder+2 more|arXiv (Cornell University)|Jun 18, 2020

Machine Learning and Data Classification被引用数 7

ひとこと要約

本稿では、元の変数の学習可能な線形結合を用いて実行可能性領域を再パrameter化することで、最適化問題のためのコンパクトで品質に配慮した代替モデルを学習する手法を提案する。高価な微分可能最適化レイヤーを低次元の代替モデルに置き換えることで、訓練および推論が高速化されるとともに、滑らかで安定した最適化により意思決定の質が向上する。非凸・部分加法的・凸問題の各々において、顕著な高速化とより優れた解の質が実証された。

ABSTRACT

Solving optimization problems with unknown parameters often requires learning a predictive model to predict the values of the unknown parameters and then solving the problem using these values. Recent work has shown that including the optimization problem as a layer in the model training pipeline results in predictions of the unobserved parameters that lead to higher decision quality. Unfortunately, this process comes at a large computational cost because the optimization problem must be solved and differentiated through in each training iteration; furthermore, it may also sometimes fail to improve solution quality due to non-smoothness issues that arise when training through a complex optimization layer. To address these shortcomings, we learn a low-dimensional surrogate model of a large optimization problem by representing the feasible space in terms of meta-variables, each of which is a linear combination of the original variables. By training a low-dimensional surrogate model end-to-end, and jointly with the predictive model, we achieve: i) a large reduction in training and inference time; and ii) improved performance by focusing attention on the more important variables in the optimization and learning in a smoother space. Empirically, we demonstrate these improvements on a non-convex adversary modeling task, a submodular recommendation task and a convex portfolio optimization task.

研究の動機と目的

• エンドツーエンド意思決定焦点学習における高い計算コストと非滑らかさの問題に対処する。ここでは最適化問題が微分可能レイヤーとして埋め込まれている。
• 最適化問題における最も重要な変数に焦点を当てた低次元代替モデルを学習することで、意思決定の質を向上させる。
• 大規模な最適化レイヤーをコンパクトで微分可能な代替モデルに置き換えることで、訓練および推論時間を短縮する。
• 予測モデルと代替モデルをエンドツーエンドで同時に学習し、バックプロパゲーションにより意思決定の質の損失を最小化する。
• 再パラメータ化フレームワーク下での凸性、部分加法性、およびサンプル複雑度に関する理論的保証を提供する。

提案手法

• 最適化問題の実行可能性領域を、元の意思決定変数の学習可能な線形結合であるメタ変数で表現する。
• 元の最適化問題を少ない数のコンパクトなメタ変数で近似する微分可能な代替レイヤーを導入する。
• 代替レイヤーを通じたバックプロパゲーションにより、予測モデルと代替モデルを同時に学習し、意思決定の質の損失を最小化する。
• 訓練中に学習される再パラメータ化行列を用いて、自動的に関連性の高い変数の組み合わせを同定・強調する。
• 代替フレームワーク下での目的関数の取り扱いやすさを保証するため、座標ごとの擬凸性解析を採用する。
• 一般化性能の理論的裏付けとして、サンプル複雑度の境界を適用する。

実験結果

リサーチクエスチョン

• RQ1 実行可能性領域の学習可能な線形再パラメータ化は、エンドツーエンド意思決定焦点学習における訓練および推論時間を短縮できるか？
• RQ2 複雑な最適化レイヤーをコンパクトな代替モデルに置き換えることで、近似誤差の可能性があるにもかかわらず、解の質が向上するか？
• RQ3 代替フレームワークは、最適化問題における凸性や部分加法性といった望ましい性質をどのように保持するか？
• RQ4 代替手法は、微分可能最適化における非滑らかさの問題と訓練の不安定性をどの程度軽減するか？
• RQ5 特にデータが乏しい分野において、代替モデルは限られたデータでも十分に一般化できるか？

主な発見

• 次元削減に伴う時間計算量の三次関数的削減のおかげで、凸二次計画問題において最大7倍の高速化が達成された。
• 非凸な敵対的モデリングにおいて、意思決定焦点学習法は速やかに収束したが、質の低い解に陥った。一方、代替手法は、このような情報を得られない局所最適解を回避した。
• 部分加法的レコメンデーションタスクでは、ブラックボックスソルバーが急速に収束する中で、代替手法が解の質を向上させた。これは、より優れた一般化性能を示している。
• 可視化結果から、学習された代替再パラメータ化が、キーユーザ・アイテム関係や高分散の映画評価など、構造的に重要な変数に自発的に焦点を合わせていることが示された。
• 代替モデルは過学習を軽減し、訓練の流れを滑らかにした。その結果、より安定したかつ質の高い意思決定結果が得られた。
• 理論的分析により、再パラメータ化下でも凸性および部分加法性が保持され、エンドツーエンド損失関数が座標ごとの擬凸性を満たすことが確認された。これにより、より良好な最適化挙動が保証された。