[논문 리뷰] How the Experts Algorithm Can Help Solve LPs Online

Anupam Gupta, Marco Molinaro|arXiv (Cornell University)|2014. 01. 01.

Optimization and Search Problems참고 문헌 19인용 수 3

한 줄 요약

이 논문은 무작위 순서 모델에서 혼합 포장/커버링 선형계획문(LPs)에 대해 원시-이중 온라인 알고리즘을 제안하며, 전문가 알고리즘(Experts Algorithm)을 블랙박스 방식으로 사용하여 (1−ε)-근사 보장을 보장하는 이중 해를 구성한다. 주요 기여는 커버링 제약 조건이 존재함에도 불구하고, 오차 최소화, 마링게일 농도, 최대 부등식을 통해 최적의 Ω(ε⁻² log m) 우변(RHS) 스케일링 요구 조건을 달성함으로써, 높은 확률로 효율적이고 정수해를 갖는 온라인 LP 해법을 가능하게 한다.

ABSTRACT

We consider the problem of solving packing/covering LPs online, when the columns of the constraint matrix are presented in random order. This problem has received much attention: the main open question is to figure out how large the right-hand sides of the LPs have to be (compared to the entries on the left-hand side of the constraint) to get (1 + <em>ε</em>)-approximations online? It is known that the RHS has to be Ω(<em>ε</em> − 2 log<em>m</em>) times the left-hand sides, where <em>m</em> is the number of constraints. In this paper we show how to achieve this bound for all packing LPs, and also for a wide class of mixed packing/covering LPs. Our algorithms construct dual solutions using a regret-minimizing online learning algorithm in a black-box fashion, and use them to construct primal solutions. The adversarial guarantee that holds for the constructed duals help us to take care of most of the correlations that arise in the algorithm; the remaining correlations are handled via martingale concentration and maximal inequalities. These ideas lead to conceptually simple and modular algorithms, which we hope will be useful in other contexts.

연구 동기 및 목표

• 무작위 순서 모델 하에서 혼합 포장/커버링 LP에 대해 증명 가능한 (1−ε)-근사 보장을 제공함으로써 기존 온라인 LP 알고리즘의 격차를 메운다.
• 좌변 계수에 비해 최적의 오른쪽변(RHS) 스케일링 Ω(ε⁻² log m)을 달성함으로써 알려진 하한값과 일치시킨다.
• 이중 해를 위한 오차 최소화 온라인 학습을 블랙박스 방식으로 사용함으로써 정수해를 생성하는 모듈러리하고 개념적으로 단순한 알고리즘을 개발한다.
• 이전 연구에서 i.i.d. 모델조차도 보장을 제공하지 못했던 온라인 환경에서 커버링 제약 조건을 다룰 수 있는 도전 과제를 해결한다.
• 오프라인 LP를 풀지 않고도 온라인 LP 해법을 실용적으로 가능하게 하며, 온라인 컬럼 도착과 동적 최적 값 추정을 통해 작동한다.

제안 방법

• 오차 최소화를 보장하는 이중 해를 생성하기 위해 전문가 알고리즘을 블랙박스 방식으로 사용하여 이중 타당성과 강력한 이중성 유사 성질을 확보한다.
• 높은 가치의 항목과 잔여 LP에 대한 스카밍 연산 결과를 조합하여 원시 해를 구성하며, 임계값 기반 메커니즘을 사용한다.
• 온라인 의사결정과 이중 갱신으로 인해 발생하는 상관관계를 제어하기 위해 마링게일 농도와 최대 부등식을 적용한다.
• 이중 시간 학습(mOTL)과 동적 학습(mDLA) 알고리즘을 개선하여 이중 시간 갱신을 통해 최적 LP 값을 적응적으로 추정한다.
• 일반화된 폭 Ω(ε⁻² log m)을 갖는 더 작은 인스턴스로 LP를 축소하기 위해 스카밍 연산을 적용함으로써, LPviaLB 알고리즘을 통해 (1−ε)-근사 보장을 달성한다.
• LP의 안정성 가정을 통해 온라인 값 추정의 분산을 제어하여, 최적 값에 대한 사전 지식 없이도 무작위 순서 도착 하에서 신뢰할 수 있는 근사 보장을 보장한다.

실험 결과

연구 질문

• RQ1 혼합 포장/커버링 LP에 대해 무작위 순서 모델에서 최적의 RHS 스케일링을 갖는 원시-이중 온라인 알고리즘이 (1−ε)-근사 보장을 달성할 수 있는가?
• RQ2 이전 연구가 포장 전용 또는 i.i.d. 설정에만 초점을 맞춘 상황에서, 커버링 제약 조건을 갖는 온라인 LP에 대해 증명 가능한 보장을 달성할 수 있는가?
• RQ3 전문가 알고리즘과 같은 온라인 학습 기법을 어떻게 활용하여 원시 타당성과 가치 근사 보장을 보장하는 이중 해를 구성할 수 있는가?
• RQ4 무작위 순서 모델에서 (1−ε)-근사 보장을 달성하기 위해 필요한 최소 RHS 스케일링은 무엇이며, 이를 실용적인 온라인 알고리즘으로 달성할 수 있는가?
• RQ5 오프라인 LP를 풀지 않고도 최적 값의 온라인 추정을 달성할 수 있으며, 이러한 추정이 안정적이고 정확한 조건은 무엇인가?

주요 결과

• RHS가 각 행의 최대 계수의 최소 Ω(log(m/δ)/ε²) 배 이상일 경우, 알고리즘 LPviaLB는 확률 1−δ 이상으로 오프라인 최적 값에 대해 (1−ε)-근사 보장을 달성한다.
• 동일한 RHS 스케일링 및 안정성 가정 하에, 알고리즘 DLA는 확률 1−δ 이상으로 최적 오프라인 값의 (1−ε) 배 이상의 값을 갖는 ε-타당해를 계산한다.
• 수정된 동적 학습(mDLA) 기반 알고리즘 mDLA는 사건 E(확률 1−c₇δ log ε⁻¹ 이상)가 발생할 경우 기대 값이 최소 (1−c₈δ log ε⁻¹)opt(L) 이상인 해를 보장하며, 높은 확률로 타당성이 확보된다.
• 논문은 무작위 순서 모델에서 (1−ε)-근사 보장을 달성하기 위해 Ω(ε⁻² log m)의 RHS 스케일링이 필수적이고 충분함을 입증하며, 알려진 하한값과 일치시킨다.
• LP의 안정성 사용은 온라인 값 추정의 분산을 제한하여, 최적 값에 대한 사전 지식 없이도 신뢰할 수 있는 근사 보장을 가능하게 한다.
• 이 접근법은 모듈러리하고 효율적이며, 오프라인 LP 해법을 피하고 정수해를 생성하여 최적 분수 해와 비교해도 유리한 성능을 보인다.