[論文レビュー] A unified approach to mixed-integer optimization problems with logical constraints

Dimitris Bertsimas, Ryan Cory-Wright+1 more|arXiv (Cornell University)|Jul 3, 2019

Risk and Portfolio Optimization参考文献 40被引用数 29

ひとこと要約

本稿では、論理制約を伴う混合整数最適化問題のための統一的で正則化に基づくフレームワークを提案する。従来のbig-M定式化に代わって、リッジ正則化を用いた非線形かつ凸な再定式化を行う。外挿近似と双対性を活用することで、100個以上のノードを有するネットワーク設計や3,200種の証券を含むスパースポートフォリオ選択といった大規模問題を、最先端の手法と比較して最大40%優れた性能と高速性で解ける。

ABSTRACT

We propose a unified framework to address a family of classical mixed-integer optimization problems with logically constrained decision variables, including network design, facility location, unit commitment, sparse portfolio selection, binary quadratic optimization, sparse principal analysis and sparse learning problems. These problems exhibit logical relationships between continuous and discrete variables, which are usually reformulated linearly using a big-M formulation. In this work, we challenge this longstanding modeling practice and express the logical constraints in a non-linear way. By imposing a regularization condition, we reformulate these problems as convex binary optimization problems, which are solvable using an outer-approximation procedure. In numerical experiments, we establish that a general-purpose numerical strategy, which combines cutting-plane, first-order and local search methods, solves these problems faster and at a larger scale than state-of-the-art mixed-integer linear or second-order cone methods. Our approach successfully solves network design problems with 100s of nodes and provides solutions up to 40\% better than the state-of-the-art; sparse portfolio selection problems with up to 3,200 securities compared with 400 securities for previous attempts; and sparse regression problems with up to 100,000 covariates.

研究の動機と目的

• 混合整数最適化における論理制約の処理に長年用いられてきたbig-M定式化の使用に挑戦すること。
• ネットワーク設計、施設配置、スパースポートフォリオ選択といった多様な問題を、単一の正則化に基づくフレームワークで統一すること。
• リッジ正則化が、特に高次元または強い凸性を示す設定において、big-Mよりもより効率的かつ安定した解法を可能にすることを示すこと。
• カット平面法、一次元法、局所探索法を統合した汎用アルゴリズムを構築し、大規模問題のスケーラブルな解法を実現すること。
• 提案された外挿近似法が、混合整数線形および第二順序 Cone 法の最先端手法を上回る速度と解の質を達成することを示すこと。

提案手法

• 論理制約 'xi = 0 if zi = 0' を、xi を zixi に置き換えることで再定式化し、非線形項を用いて目的関数に論理を直接埋め込む。
• 解法の取り扱いやすさと安定性を確保するため、凸正則化関数 Ω(x) を導入し、問題を凸バイナリ最適化問題に変換する。
• 強い双対性を用いて問題を混合整数サドルポイント問題に再定式化し、外挿近似による分解を可能にする。
• 根ノードでケリー法を用いてカット平面を生成し、局所探索を組み合わせた外挿近似アルゴリズムを適用する。
• 連続部分問題の解法に一次元法を適用し、収束の加速と解の質の向上を図る。
• 確率的ラウンディングと分枝限定法を用いて、証明可能な近最適解または証明可能な最適解を取得する。

実験結果

リサーチクエスチョン

• RQ1 リッジ正則化は、混合整数最適化における論理制約の強制に、big-Mよりも効果的な代替手段として利用可能か？
• RQ2 正則化に基づく統一的フレームワークは、ネットワーク設計やスパースポートフォリオ選択といった多様な問題を、従来のbig-MおよびMISOCP定式化よりも効果的に解けるか？
• RQ3 強い凸性を示す問題において、正則化の選択（big-M 対 リッジ）が計算性能と解の質に与える影響はいかほどか？
• RQ4 基数制約やネットワークのスパarsityといった問題固有の構造を活用することで、外挿近似法の速度をどの程度向上できるか？
• RQ5 カット平面法、一次元法、局所探索法を統合した汎用アルゴリズムは、特殊化されたソルバーと比較して、大規模混合整数問題をより速くかつ正確に解けるか？

主な発見

• 提案手法は、100個以上のノードを有するネットワーク設計問題を解き、最先端手法と比較して最大40%優れた解を得た。
• スパースポートフォリオ選択においては、3,200種の証券までスケーリング可能であり、従来手法の400種に比べて4倍の規模に達した。
• スパース回帰においては、最大10万個の共変量を処理でき、従来の能力を大きく超えた。
• 目的関数の二次項が十分に強い場合（α > 1）、リッジ正則化はbig-Mを上回った。CPLEXはbig-Mでは1時間以内に収束しなかったが、n=150の場合はリッジ問題を10秒未満で解いた。
• リッジ正則化パスは滑らかで、すべてのγ > 0に対して実行可能であったのに対し、big-MはM < 1/kのとき実行不能となり、実用上深刻な制限であった。
• OA + Both戦略（根ノードのカットと局所探索の組み合わせ）は、スパースポートフォリオ問題において92.5%の勝率と91.7%の相対的改善を達成し、big-Mおよびリッジベース手法を大きく上回った。