[논문 리뷰] Simple and Fast Algorithm for Binary Integer and Online Linear Programming

Xiaocheng Li, Chunlin Sun외 1명|arXiv (Cornell University)|2020. 03. 05.

Risk and Portfolio Optimization인용 수 12

한 줄 요약

이 논문은 이원 정수 및 온라인 선형 프로그램을 위한 단순한, 한 번의 통과만으로 가능한 온라인 알고리즘을 제시한다. 이는 이중 공간에서의 투영된 확률적 하향 기울기 하강법을 사용하여, 스토하스틱 및 무작위 순열 입력 모델 하에서 O(m√n)의 기대적 위험도와 제약 위반을 달성한다. 이 방법은 계산적으로 효율적이며, 행렬 역행렬 계산을 피하고, 이론적으로 강력한 보장을 제공하면서도 대규모 문제에서 이전 알고리즘을 능가하는 실용적 성능을 보인다.

ABSTRACT

In this paper, we develop a simple and fast online algorithm for solving a class of binary integer linear programs (LPs) arisen in general resource allocation problem. The algorithm requires only one single pass through the input data and is free of doing any matrix inversion. It can be viewed as both an approximate algorithm for solving binary integer LPs and a fast algorithm for solving online LP problems. The algorithm is inspired by an equivalent form of the dual problem of the relaxed LP and it essentially performs (one-pass) projected stochastic subgradient descent in the dual space. We analyze the algorithm in two different models, stochastic input and random permutation, with minimal technical assumptions on the input data. The algorithm achieves $O\left(m \sqrt{n} ight)$ expected regret under the stochastic input model and $O\left((m+\log n)\sqrt{n} ight)$ expected regret under the random permutation model, and it achieves $O(m \sqrt{n})$ expected constraint violation under both models, where $n$ is the number of decision variables and $m$ is the number of constraints. The algorithm enjoys the same performance guarantee when generalized to a multi-dimensional LP setting which covers a wider range of applications. In addition, we employ the notion of permutational Rademacher complexity and derive regret bounds for two earlier online LP algorithms for comparison. Both algorithms improve the regret bound with a factor of $\sqrt{m}$ by paying more computational cost. Furthermore, we demonstrate how to convert the possibly infeasible solution to a feasible one through a randomized procedure. Numerical experiments illustrate the general applicability and effectiveness of the algorithms.

연구 동기 및 목표

• 자원 할당 문제에서 발생하는 이원 정수 선형 프로그램을 해결하기 위한 단순하고 효율적인 온라인 알고리즘을 개발한다.
• 입력 데이터에 대한 최소한의 가정 하에 강력한 이론적 성능 보장을 달성한다—특히 스토하스틱 입력과 무작위 순열 모델 하에서 O(m√n)의 기대적 위험도와 제약 위반.
• 행렬 역행렬 계산을 피하고 한 번의 데이터 통과만으로 작동하는 실용적이고 빠른 알고리즘을 제공한다.
• 이 접근법을 다차원 선형 프로그래밍 설정으로 일반화하고, 무작위 라운딩을 통해 실현 가능성의 가능성을 입증한다.
• 이전의 온라인 선형 프로그래밍 알고리즘과 비교하여 개선된 경험적 성능을 보여준다.

제안 방법

• 알고리즘은 선형 프로그래밍의 이원 공간에서 한 번의 통과만으로 투영된 확률적 하향 기울기 하강법을 수행하며, 이중 변수를 이용해 원래 문제의 결정을 안내한다.
• 각 단계에서 전체 이원 문제나 원래 문제를 풀지 않기 위해 이중 문제의 등가 형태를 활용한다.
• 단일 통과 업데이트 규칙을 사용하며, 스텝 크기를 1/√t 또는 1/√n로 설정하여, 행렬 역행렬 계산 없이 수렴을 보장한다.
• 무작위 라운딩 절차를 통해 이중 기반 해에서 비가능한 해를 가용 가능한 정수 해로 변환한다.
• 분석은 무작위 순열의 라데마처 복잡도를 사용하여, 스토하스틱 입력과 무작위 순열 모델 하에서의 위험도 한계를 유도한다.
• 알고리즘은 다차원 선형 프로그래밍으로 일반화되어, 다중 knapsack 및 일반화된 할당 문제와 같은 문제들에 대한 적용 범위를 넓힌다.

실험 결과

연구 질문

• RQ1 간단하고 한 번의 통과만으로 가능한 알고리즘이 온라인 이원 정수 선형 프로그램 문제에서 증명 가능한 좋은 성능을 달성할 수 있는가?
• RQ2 스토하스틱 및 무작위 순열 입력 모델 하에서 이러한 알고리즘의 이론적 위험도와 제약 위반 한계는 무엇인가?
• RQ3 이 알고리즘의 경험적 및 이론적 성능가 이전의 온라인 선형 프로그래밍 알고리즘과 비교해 어떻게 되는가?
• RQ4 이 알고리즘이 강력한 성능 보장을 유지하면서 다차원 선형 프로그래밍으로 일반화될 수 있는가?
• RQ5 이론적 위험도 한계는 날카롭고, 계산 비용을 증가시키지 않고도 향상시킬 수 있는가?

주요 결과

• 스토하스틱 입력 및 무작위 순열 모델 하에서, 강력한 볼록성 가정 없이도 O(m√n)의 기대적 위험도를 달성한다.
• 두 모델 모두에서 O(m√n)의 기대적 제약 위반을 달성하여 기대적으로 가용성을 확보한다.
• 수치 실험에서, 작은 m와 n에 대해서는 Gurobi보다 계산 시간이 빨라 밀리초 내로 거의 최적해를 달성한다.
• 일부 이전 알고리즘에 비해 위험도 한계에 √m 요소가 추가로 포함되어 있어 약간 느슨한 이론적 한계를 갖지만, 계산 오버헤드가 낮아 경험적으로 더 좋은 성능을 보인다.
• Gurobi 및 기타 온라인 알고리즘보다 훨씬 빠르면서도 높은 경쟁력 비율(예: m=8, n=1000일 때 99.1%)을 유지한다.
• 대규모 문제(예: m=4096, n=10⁵)에서도 효과적이며, 경쟁력 비율이 80% 이상이고 계산 시간이 60초 이내에 유지된다.