[論文レビュー] Accelerating Quadratic Optimization with Reinforcement Learning

Jeffrey Ichnowski, Paras Jain+7 more|arXiv (Cornell University)|Jul 22, 2021

Advanced Bandit Algorithms Research参考文献 42被引用数 20

ひとこと要約

本稿では、ADMMのステップサイズパラメータ（ρ）をリアルタイムで適応的に学習することで、二次計画問題における収束速度を向上させる強化学習ベースの手法RLQPを提案する。多様なQP問題で訓練されたRLQPは、OSQPなどの最先端ソルバーと比較して、最大3倍の高速化を達成し、QPLIB、Netlib LP、Maros-Mészárosベンチマークを含む多様な問題クラスに強く一般化する。

ABSTRACT

First-order methods for quadratic optimization such as OSQP are widely used for large-scale machine learning and embedded optimal control, where many related problems must be rapidly solved. These methods face two persistent challenges: manual hyperparameter tuning and convergence time to high-accuracy solutions. To address these, we explore how Reinforcement Learning (RL) can learn a policy to tune parameters to accelerate convergence. In experiments with well-known QP benchmarks we find that our RL policy, RLQP, significantly outperforms state-of-the-art QP solvers by up to 3x. RLQP generalizes surprisingly well to previously unseen problems with varying dimension and structure from different applications, including the QPLIB, Netlib LP and Maros-Meszaros problems. Code for RLQP is available at https://github.com/berkeleyautomation/rlqp.

研究の動機と目的

• OSQPなどの一次計画法で、高精度解を得るための数千回の反復を要する収束の遅さという、長年の課題に取り組む。
• ADMMのステップサイズρに対する手動またはヒューリスティックなハイパーパrameterチューニングの限界を乗り越え、強化学習を用いて適応的ポリシーを学習する。
• 再訓練なしに多様なQP問題クラスに一般化可能なRLポリシーを開発し、制御や機械学習応用におけるリアルタイム導入を可能にする。
• 一般化と特化のトレードオフを調査するため、複数の問題クラスを統合して同時に訓練するポリシーと、特定の応用分野に特化したポリシーを比較する。
• 学習済みポリシーが、分布外の問題に対しても非適応的およびヒューリスティック適応的ソルバーを上回る収束速度と頑健性を示すことを実証する。

提案手法

• 状態は内部ソルバー状態（プライマルおよび双対変数、制約条件）であり、行動はADMMのステップサイズρの変更であり、報酬は反復回数の負の値（ソルブ時間の最小化）である、二次計画問題の解法プロセスを強化学習（RL）環境として定式化する。
• 深層強化学習を用いて、ソルバー状態からρの適応をマッピングするニューラルネットワークポリシーπθを学習する。2つの定式化を採用：スカラー（1反復あたり1回のρ更新）とベクトル（制約ごとのρ更新）の形式。
• 学習の安定化のためリプレイバッファと経験リプレイを用い、ランダム化されたQPインスタンスを用いたカリキュラム学習により、サンプル効率を向上させる。
• QPLIB、Netlib、Maros-Mészárosなど多様なQP問題のセットを用いて一般化ポリシーを訓練し、出荷時から即時利用可能な状態を実現する。また、特定の問題クラスに特化したポリシーを訓練し、繰り返し利用時の性能をさらに向上させる。
• 訓練済みポリシーをOSQPソルバーのパイプラインに統合し、固定またはヒューリスティックなρ適応を、ADMM反復中に動的に更新する学習済みポリシーに置き換える。
• 推論速度を最適化するため、軽量なニューラルネットワークとハードウェアに配慮した設計を採用し、ポリシーのオーバーヘッドが収束の利点を相殺しないようにする。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、ADMMのステップサイズρを適応的に調整する効果的で一般化可能なポリシーを学習でき、二次計画最適化における収束を加速できるか？
• RQ2 多様なQP問題クラスにおいて、RLベースのポリシーは非適応的およびヒューリスティック適応的ソルバーと比較して、どのような性能を示すか？
• RQ3 一度に複数の問題クラスを統合して訓練したRLポリシーは、次元や構造が異なる未観測のQP問題にどの程度一般化できるか？
• RQ4 特定の問題クラスに特化してポリシーをファインチューニングすることで、一般ポリシーに比べてさらなる性能向上が得られるか？
• RQ5 訓練コスト、推論遅延、分布外問題における頑健性という観点から、RLQPの実用的限界は何か？

主な発見

• QPLIBベンチマーク全体で、OSQPと比較してRLQPは最大3倍の高速化を達成し、特に大規模および悪条件問題で顕著な改善を示す。
• 一般化されたベクトル形式ポリシーは、Netlib LPベンチマークでOSQP比1.30倍の高速化を達成し、実行時間のシフト幾何平均で測定された。
• Maros-Mészáros QPベンチマークでは、RLQPのシフト幾何平均実行時間はOSQP比1.829倍速く、スケーリングが不十分な問題に対しても頑健であることを示した。
• 一般ポリシーは分布外問題に対しても良好な一般化性能を示したが、分布シフトの影響で一部のタイムアウトが発生しており、さらなる一般化の改善の余地がある。
• 特定の問題クラスに特化したポリシーは、収束のさらなる加速を実現しており、ドメイン特化のファインチューニングが追加の利点をもたらす可能性を示唆している。
• 高額な訓練コスト（高スペックハードウェアで数日）を要するが、推論段階では非常に効率的で、最小限のオーバーヘッドであるため、リアルタイム導入が現実可能である。