[논문 리뷰] Online Linear Programming: Dual Convergence, New Algorithms, and Regret Bounds

Xiaocheng Li, Yinyu Ye|arXiv (Cornell University)|2019. 09. 12.

Optimization and Search Problems참고 문헌 53인용 수 21

한 줄 요약

이 논문은 온라인 선형계획법(OLP) 분야에서 오랫동안 남아있던 두 가지 열린 문제를 해결한다: (1) 적당한 정규성 조건 하에서 온라인 알고리즘의 이중 가격이 오프라인 최적의 이중 가격으로 수렴함을 보이고, (2) 부호가 혼합된 계수를 가진 일반적인 선형계획법(LP)로 결과가 확장됨을 보인다. 이는 과거의 결정과 입력 데이터를 활용하여 제약 소비를 안정화시키는 행동-역사 의존 학습 알고리즘을 도입함으로써, 이전의 이중가격 학습 방법의 $O(\sqrt{n})$ 보다 훨씬 향상된 $O(\log n \log \log n)$의 손실 한계를 달성한다.

ABSTRACT

We study an online linear programming (OLP) problem under a random input model in which the columns of the constraint matrix along with the corresponding coefficients in the objective function are generated i.i.d. from an unknown distribution and revealed sequentially over time. Virtually all pre-existing online algorithms were based on learning the dual optimal solutions/prices of the linear programs (LP), and their analyses were focused on the aggregate objective value and solving the packing LP where all coefficients in the constraint matrix and objective are nonnegative. However, two major open questions were: (i) Does the set of LP optimal dual prices learned in the pre-existing algorithms converge to those of the "offline" LP, and (ii) Could the results be extended to general LP problems where the coefficients can be either positive or negative. We resolve these two questions by establishing convergence results for the dual prices under moderate regularity conditions for general LP problems. Specifically, we identify an equivalent form of the dual problem which relates the dual LP with a sample average approximation to a stochastic program. Furthermore, we propose a new type of OLP algorithm, Action-History-Dependent Learning Algorithm, which improves the previous algorithm performances by taking into account the past input data as well as decisions/actions already made. We derive an $O(\log n \log \log n)$ regret bound (under a locally strong convexity and smoothness condition) for the proposed algorithm, against the $O(\sqrt{n})$ bound for typical dual-price learning algorithms, where $n$ is the number of decision variables. Numerical experiments demonstrate the effectiveness of the proposed algorithm and the action-history-dependent design.

연구 동기 및 목표

• 랜덤 입력 모델 하에서 온라인 이중 가격이 오프라인 최적의 이중 해로 수렴함을 확립하기 위해.
• 기존의 OLP 결과를 패킹 LP를 넘어서 부호가 혼합된 계수를 가진 일반 선형계획법으로 확장하기 위해.
• 역사적 결정 데이터를 통합하여 성능을 향상시킬 수 있는 새로운 OLP 알고리즘의 클래스를 설계하기 위해.
• 이중 수렴성과 적응형 학습을 활용하여 온라인 선형계획법의 더 날카운 손실 한계를 유도하기 위해.
• 일반 LP 환경에서 기반 이중 알고리즘의 안정성과 최적성에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 진짜 분포 $\mathcal{P}$ 와 제약 용량을 기반으로 정의된 확률적 프로그램의 표본 이중 LP를 표본 평균근사(SAA)로 공식화하기 위해.
• 적당한 정규성 조건 하에서 표본 이중 최적 해와 진짜 확률적 프로그램의 이중 해 사이의 $L^2$ 거리가 $\tilde{O}(\sqrt{m}/\sqrt{n})$ 임을 입증하기 위해.
• 과거 입력 데이터와 과거 결정을 모두 활용하여 이중 가격을 업데이트하는 새로운 행동-역사 의존 학습 알고리즘을 제안하기 위해.
• 누적 제약 소비와 역사적 행동에 기반해 동적으로 이중 가격 업데이트 규칙을 적용하기 위해.
• 국소적으로 강한 볼록성과 미분 가능성 조건을 활용하여 새로운 알고리즘의 $O(\log n \log \log n)$ 손실 한계를 도출하기 위해.
• 이중 수렴 결과를 활용하여 이전의 이중 추정치를 온난 스타트로 사용함으로써 계산 효율성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 온라인 알고리즘이 학습한 최적의 이중 가격 집합이 오프라인 선형계획법의 최적 이중 해로 수렴하는가?
• RQ2 온라인 선형계획법의 수렴성과 성능 보장을 양의 계수와 음의 계수를 모두 가진 일반 LP로 확장할 수 있는가?
• RQ3 이중 학습 과정에 역사적 결정 데이터를 통합하면 표준 이중가격 학습 알고리즘보다 향상된 손실 한계를 달성할 수 있는가?
• RQ4 과거 결정과 입력 데이터를 고려하는 이중 기반 온라인 알고리즘으로서 달성 가능한 최소한의 손실 한계는 무엇인가?
• RQ5 새로운 알고리즘의 계산 비용은 결정 변수와 제약 조건의 수에 따라 어떻게 변화하는가?

주요 결과

• 적당한 정규성 조건 하에서 표본 이중 LP의 최적 이중 해는 기저 확률적 프로그램의 최적 해로 $L^2$ 오차 $\tilde{O}(\sqrt{m}/\sqrt{n})$ 범위 내에서 수렴한다.
• 이러한 수렴 결과는 패킹 LP에 국한되지 않고 일반 선형계획법에도 적용되며, 양의 계수와 음의 계수를 모두 처리할 수 있다.
• 제안된 행동-역사 의존 학습 알고리즘은 $O(\log n \log \log n)$의 손실 한계를 달성하며, 이는 이전의 이중가격 학습 방법의 $O(\sqrt{n})$ 한계보다 크게 향상된 것이다.
• 과거 결정을 통합함으로써 제약 소비가 안정화되어 이전 알고리즘에서 관찰된 $O(\sqrt{n})$의 변동성을 줄였다.
• 수치 실험 결과는 새로운 알고리즘이 효과적임을 확인하였으며, 행동-역사 의존성이 손실 감소에 기여함을 검증하였다.
• 새로운 알고리즘의 계산 비용은 $O(n)$ 이지만, 이전의 이중 추정치를 온난 스타트로 사용할 수 있기 때문에 실질적으로 감소시킬 수 있다.