[논문 리뷰] Dual Mirror Descent for Online Allocation Problems

Haihao Lu, Santiago Balseiro외 1명|arXiv (Cornell University)|2020. 02. 24.

Advanced Bandit Algorithms Research참고 문헌 2인용 수 21

한 줄 요약

이 논문은 볼록 수익 함수와 알려지지 않은 확률적 요청 분포를 가진 문제에서 하위선형 기대 위험을 달성하기 위해 라그랑주 이중 공간에서 이중 미러 강하를 사용하는 새로운 온라인 할당 알고리즘을 제안한다. 적응형 이중 승수를 활용한 온라인 미러 강하를 통해 기존 알고리즘인 하위기울기와 지수 가중치 알고리즘을 복원하며, 비례적 수평과 자원 스케일링 하에서 최적의 위험 스케일링을 달성한다.

ABSTRACT

We consider online allocation problems with concave revenue functions and resource constraints, which are central problems in revenue management and online advertising. In these settings, requests arrive sequentially during a finite horizon and, for each request, a decision maker needs to choose an action that consumes a certain amount of resources and generates revenue. The revenue function and resource consumption of each request are drawn independently and at random from a probability distribution that is unknown to the decision maker. The objective is to maximize cumulative revenues subject to a constraint on the total consumption of resources. We design a general class of algorithms that achieve sub-linear expected regret compared to the hindsight optimal allocation. Our algorithms operate in the Lagrangian dual space: they maintain a dual multiplier for each resource that is updated using online mirror descent. By choosing the reference function accordingly, we recover dual sub-gradient descent and dual exponential weights algorithm. The resulting algorithms are simple, efficient, and shown to attain the optimal order of regret when the length of the horizon and the initial number of resources are scaled proportionally. We discuss applications to online bidding in repeated auctions with budget constraints and online proportional matching with high entropy.

연구 동기 및 목표

• 알려지지 않은 확률적 요청 분포와 볼록 수익 함수를 가진 온라인 할당 문제를 해결하기 위해.
• 후견 최적 할당에 비해 하위선형 기대 위험을 달성하는 일반적인 알고리즘 프레임워크를 설계하기 위해.
• 공통의 이중 미러 강하 공식화를 통해 기존 방법들인 이중 하위기울기와 지수 가중치 알고리즘을 통합하고 일반화하기 위해.
• 예산 제약 조건이 있는 온라인 광고 및 반복 Auction과 같은 응용 분야에 대해 효율적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 알고리즘은 라그랑주 이중 공간에서 작동하며, 각 자원에 대해 자원 소비 제약 조건을 추적하기 위한 이중 승수를 유지한다.
• 이중 승수는 온라인 미러 강하를 사용하여 업데이트되며, 기준 함수(예: 로그 또는 제곱 함수)를 활용하여 이중 공간에서 위험을 최소화한다.
• 알려지지 않은 분포에서 독립적으로 동일하게 분포된 랜덤 요청을 처리하며, 수익 및 자원 소비 함수는 서로 독립적으로 선택된다.
• 적절한 기준 함수를 선택함으로써 이 프레임워크는 이중 하위기울기 강하 및 이중 지수 가중치 알고리즘을 모두 복원할 수 있다.
• 간단한 반복 업데이트 규칙 덕분에 계산 효율성과 확장성이 보장된다.
• 수평 길이와 초기 자원 수가 비례적으로 스케일링될 때 알고리즘이 최적의 위험 순서를 달성함을 입증하였다.

실험 결과

연구 질문

• RQ1 볼록 수익과 알려지지 않은 분포를 가진 온라인 할당 문제에 대해 하위선형 위험을 달성하는 통합 알고리즘 프레임워크를 개발할 수 있는가?
• RQ2 라그랑주 이중 공간에서의 이중 미러 강하가 하위기울기 및 지수 가중치와 같은 기존 방법과 비교해 위험과 성능 측면에서 어떻게 다른가?
• RQ3 온라인 할당 문제에서 최적의 위험 스케일링을 달성하기 위해 미러 강하에서 어떤 기준 함수를 선택해야 하는가?
• RQ4 이 프레임워크는 예산 제약 조건이 있는 반복 Auction에서의 온라인 입찰과 같은 실제 문제에 효과적으로 적용될 수 있는가?
• RQ5 수평 길이와 자원 용량이 비례적으로 스케일링될 때 알고리즘이 최적의 위험 순서를 유지하는가?

주요 결과

• 제안된 이중 미러 강하 프레임워크는 후견 최적 할당에 대해 하위선형 기대 위험을 달성하며, 이는 이 설정에서 최선의 가능한 위험 순서이다.
• 적절한 기준 함수를 선택함으로써 이 방법은 이중 하위기울기 강하 및 이중 지수 가중치 알고리즘을 모두 복원하며, 이는 이러한 접근 방식들을 하나의 프레임워크로 통합한다.
• 수평 길이와 초기 자원 수가 비례적으로 스케일링될 때 알고리즘이 최적의 위험 순서를 확보한다.
• 계산 효율성이 뛰어나며, 온라인 광고 및 반복 Auction과 같은 대규모 온라인 할당 문제에 적합하다.
• 요청 분포의 불확실성을 체계적으로 다루면서도 강력한 이론적 성능 보장을 유지할 수 있는 방법을 제공한다.
• 고 엔트로피를 가진 온라인 비례 매칭 및 예산 제약 조건이 있는 온라인 입찰에 대한 응용 사례들이 알고리즘적 구조에 자연스럽게 통합됨을 보여주었다.