[論文レビュー] Online Mixed-Integer Optimization in Milliseconds

Dimitris Bertsimas, Bartolomeo Stellato|arXiv (Cornell University)|Jul 4, 2019

Advanced Bandit Algorithms Research被引用数 15

ひとこと要約

この論文では、燃料電池の管理や運動計画の問題など、実世界の問題においてGurobiに比べて2〜3桁の高速化を達成する、オンライン混合整数二次最適化（MIQO）問題を1ミリ秒未塔で解く機械学習ベースの手法MLOPTを提案する。最適解を「戦略」として符号化し、ニューラルネットワークでそれらを予測することで、オンライン段階を1回の事前因数分解された線形システムの解法に削減し、高速化を実現する。

ABSTRACT

We propose a method to solve online mixed-integer optimization (MIO) problems at very high speed using machine learning. By exploiting the repetitive nature of online optimization, we are able to greatly speedup the solution time. Our approach encodes the optimal solution into a small amount of information denoted as strategy using the Voice of Optimization framework proposed in [BS21]. In this way the core part of the optimization algorithm becomes a multiclass classification problem which can be solved very quickly. In this work, we extend that framework to real-time and high-speed applications focusing on parametric mixed-integer quadratic optimization (MIQO). We propose an extremely fast online optimization algorithm consisting of a feedforward neural network (NN) evaluation and a linear system solution where the matrix has already been factorized. Therefore, this online approach does not require any solver nor iterative algorithm. We show the speed of the proposed method both in terms of total computations required and measured execution time. We estimate the number of floating point operations (flops) required to completely recover the optimal solution as a function of the problem dimensions. Compared to state-of-the-art MIO routines, the online running time of our method is very predictable and can be lower than a single matrix factorization time. We benchmark our method against the state-of-the-art solver Gurobi obtaining from two to three orders of magnitude speedups on examples from fuel cell energy management, sparse portfolio optimization and motion planning with obstacle avoidance.

研究の動機と目的

• リアルタイムで高速にオンライン混合整数二次最適化（MIQO）問題を解けるようにすること。
• オンライン実行中に反復的ソルバーや行列因数分解に依存しないようにすること。
• 低サブオプティマルさと不実行性を維持したまま、1ミリ秒未塔の解法時間を達成するフレームワークを開発すること。
• 運動計画やエネルギー管理のような時間的に制限のある応用分野において、オンラインMIOを実用可能にする。
• 入力パラメータに依存しない固定の浮動小数点演算量に基づき、予測可能な、解析可能なオンライン計算時間を提供すること。

提案手法

• パrametric MIQO問題の最適解を離散的「戦略」として符号化するため、最適化の声（Voice of Optimization）フレームワークを用いる。
• 問題パラメータから最適戦略を予測するため、順方向のニューラルネットワークを採用する。
• 最終段階の解法を、実行時における因数分解を回避するため、事前に因数分解されたKKT行列を用いた1回の線形システムの解法に置き換える。
• サブオプティマルさと不実行性を制御しながら、戦略数を100〜10,000に削減するため、大規模なMILO近似を用いた「戦略の刈り込み」を適用する。
• すべての可能な戦略に対して、事前に因数分解されたKKT行列をオフラインでキャッシュし、実行時には純粋な行列-ベクトル演算のみを実行する。
• 入力パラメータに依存しない正確な浮動小数点演算（flop）数を導出することで、実行時間の予測可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 機械学習を用いて、オンラインMIQO問題を1ミリ秒未塔で解くことは可能か？
• RQ2 ニューラルネットワークベースの戦略予測器により、オンラインMIQOにおける反復的ソルバの必要性を排除できるか？
• RQ3 サブオプティマルさと不実行性を維持しながら、戦略数を効率的に削減するための戦略の刈り込みをどのように定式化・解くことができるか？
• RQ4 オンライン段階の正確な計算複雑度は何か？ そして、分枝限定法と比較してどうなるか？
• RQ5 提案手法は、Gurobiのような最先端のソルバーよりも、リアルタイム応用で顕著な高速化を達成できるか？

主な発見

• MLOPTはオンライン解法時間を1ミリ秒未塔に抑え、運動計画や燃料電池問題において、Gurobiに比べて測定された実行時間が最大1,000倍速い。
• この手法により、オンライン計算が1回の事前因数分解された線形システムの解法に簡略化され、実行時における行列因数分解や反復的最適化は一切不要となった。
• すべてのベンチマーク問題において、MLOPTはGurobiのヒューリスティックと同等またはそれ以上のサブオプティマルさを維持し、許容可能な許容範囲内での不実行性を確保した。
• 戦略の刈り込みにより、戦略数を100〜10,000に削減しながら、平均的なサブオプティマルさと不実行性をユーザーが定めた許容範囲内に保った。
• 浮動小数点演算の総数は正確に境界付けられており、入力パラメータに依存せず、予測可能で信頼性の高いパフォーマンスを実現した。
• 10個の障害物を伴う運動計画において、MLOPTは平均0.0614秒で問題を解いたのに対し、Gurobiは809秒を要し、13,000倍の高速化を達成した。