[論文レビュー] Simple and Fast Algorithm for Binary Integer and Online Linear Programming

Xiaocheng Li, Chunlin Sun+1 more|arXiv (Cornell University)|Mar 5, 2020

Risk and Portfolio Optimization被引用数 12

ひとこと要約

本稿では、二値整数計画およびオンライン線形計画問題に対するシンプルで一回読みのオンラインアルゴリズムを提示する。双対空間における射影確率的劣勾配降下を用いることで、確率的およびランダム順列入力モデルの両方において、期待されるリグレットと制約違反が O(m√n) に抑えられる。この手法は計算的に効率的であり、行列の逆行列計算を回避し、大規模問題においても先行研究のアルゴリズムを上回る実用的性能を示すとともに、強い理論的保証を提供する。

ABSTRACT

In this paper, we develop a simple and fast online algorithm for solving a class of binary integer linear programs (LPs) arisen in general resource allocation problem. The algorithm requires only one single pass through the input data and is free of doing any matrix inversion. It can be viewed as both an approximate algorithm for solving binary integer LPs and a fast algorithm for solving online LP problems. The algorithm is inspired by an equivalent form of the dual problem of the relaxed LP and it essentially performs (one-pass) projected stochastic subgradient descent in the dual space. We analyze the algorithm in two different models, stochastic input and random permutation, with minimal technical assumptions on the input data. The algorithm achieves $O\left(m \sqrt{n} ight)$ expected regret under the stochastic input model and $O\left((m+\log n)\sqrt{n} ight)$ expected regret under the random permutation model, and it achieves $O(m \sqrt{n})$ expected constraint violation under both models, where $n$ is the number of decision variables and $m$ is the number of constraints. The algorithm enjoys the same performance guarantee when generalized to a multi-dimensional LP setting which covers a wider range of applications. In addition, we employ the notion of permutational Rademacher complexity and derive regret bounds for two earlier online LP algorithms for comparison. Both algorithms improve the regret bound with a factor of $\sqrt{m}$ by paying more computational cost. Furthermore, we demonstrate how to convert the possibly infeasible solution to a feasible one through a randomized procedure. Numerical experiments illustrate the general applicability and effectiveness of the algorithms.

研究の動機と目的

• リソース割り当てに生じる二値整数線形計画問題を解くためのシンプルで効率的なオンラインアルゴリズムの開発。
• 入力データに強い仮定を設けない条件下で、具体的には確率的入力とランダム順列入力モデルの両方において、期待されるリグレットと制約違反が O(m√n) に抑えられる強力な理論的保証の達成。
• 行列の逆行列計算を回避し、データを一回読みで処理可能な実用的で高速なアルゴリズムの提供。
• 多変数線形計画問題への一般化を図り、確率的ラウンディングによる実現可能性の検証。
• 先行のオンライン線形計画アルゴリズムと比較し、理論的境界がわずかにゆるいものの、実験的に優れた性能を示すことの確認。

提案手法

• 線形計画の緩和問題の双対空間において、一回読みの射影確率的劣勾配降下を実行し、双対変数を用いてプライマル意思決定を導く。
• 各ステップで全双対問題や全プライマル問題を解くのを避けるために、双対問題の同値表現を活用する。
• ステップサイズを 1/√t または 1/√n として、一回読みの更新ルールを用いることで、行列の逆行列計算を必要とせずに収束を保証する。
• 確率的ラウンディング手順により、おそらく非可換な双対ベースの解を整数可能解に変換する。
• 順列に基づくラデマッハ複雑度を用いて、確率的入力とランダム順列の二つのモデルにおけるリグレット境界を導出する。
• 多変数線形計画問題への一般化を図り、多重ナップサック問題や一般化割当問題などへの応用可能性を広げる。

実験結果

リサーチクエスチョン

• RQ1 シンプルで一回読みのアルゴリズムが、オンライン二値整数線形計画問題において証明可能な優れた性能を達成できるか？
• RQ2 確率的入力とランダム順列入力モデルの両方において、そのアルゴリズムの理論的リグレットと制約違反の境界は何か？
• RQ3 このアルゴリズムの性能は、理論的および実験的に先行のオンライン線形計画アルゴリズムと比べてどうか？
• RQ4 このアルゴリズムは、多変数線形計画問題へ一般化可能であり、強力な性能保証を維持できるか？
• RQ5 理論的リグレット境界はタイトか？計算コストを増加させることなく改善可能か？

主な発見

• 確率的入力およびランダム順列モデルの両方において、強い凸性の仮定なしに、期待されるリグレットが O(m√n) に抑えられる。
• 両モデルにおいても、期待される制約違反が O(m√n) に抑えられ、期待的に実行可能となることが保証される。
• 数値実験では、m や n が小さい場合にグローバイが計算時間を上回り、ミリ秒単位でほぼ最適解に到達する。
• 一部の先行アルゴリズムに比べて、リグレット境界に √m 要素が余分に含まれるものの、計算オーバーヘッドが低いため、実験的性能が優れている。
• グローバイや他のオンラインアルゴリズムよりも著しく高速でありながら、高い競合比（例：m=8, n=1000 時に 99.1%）を維持する。
• 大規模問題（例：m=4096, n=10⁵）に対しても有効であり、競合比が 80% を超え、計算時間は 60 秒未満に収まる。