[논문 리뷰] Online Allocation and Pricing: Constant Regret via Bellman Inequalities

Alberto Vera, Siddhartha Banerjee외 1명|arXiv (Cornell University)|2019. 06. 14.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 11

한 줄 요약

이 논문은 벨만 부등식을 사용하여 시간 범위나 예산에 관계없이 일정한 회귀를 달성하는 새로운 프레임워크를 제안한다. 이는 계산의 용이성과 예측 불확실성 사이의 균형을 이루며, 온라인 나이프실록, 프로빙, 동적 가격 설정, 나이프실록이 있는 컨텍스트 밴딧 문제 등에 대해 단순하고 효율적인 정책을 제공한다. 이 정책들은 각 주기마다 선형 프로그래밍을 재해결하고 탐욕적 행동 규칙을 적용함으로써 이론적으로 강력한 보장을 갖춘 성능을 달성한다.

ABSTRACT

We develop a framework for designing simple and efficient policies for a family of online allocation and pricing problems, that includes online packing, budget-constrained probing, dynamic pricing, and online contextual bandits with knapsacks. In each case, we evaluate the performance of our policies in terms of their regret (i.e., additive gap) relative to an offline controller that is endowed with more information than the online controller. Our framework is based on Bellman Inequalities, which decompose the loss of an algorithm into two distinct sources of error: (1) arising from computational tractability issues, and (2) arising from estimation/prediction of random trajectories. Balancing these errors guides the choice of benchmarks, and leads to policies that are both tractable and have strong performance guarantees. In particular, in all our examples, we demonstrate constant-regret policies that only require re-solving an LP in each period, followed by a simple greedy action-selection rule; thus, our policies are practical as well as provably near optimal.

연구 동기 및 목표

• 불확실성 하에서 성능 보장이 있는 간단하고 효율적인 온라인 정책을 설계하기.
• 기존의 동적 프로그래밍이 차원의 극복 문제로 실패하는 고차원 온라인 의사결정 문제에 도전하기.
• 온라인 패킹, 예산 제약이 있는 프로빙, 동적 가격 설정, 나이프실록이 있는 컨텍스트 밴딧과 같은 다양한 문제에 적용 가능한 통합 프레임워크 개발하기.
• 시간 범위와 초기 예산에 관계없이 오프라인 벤치마크에 대한 일정한 회귀를 달성하기.
• 회귀를 두 가지 해석 가능한 성분으로 분해하기: 벨만 손실(계산의 비가용성)과 정보 손실(예측 불확실성), 이를 통해 더 나은 정책 설계 가능하게 하기.

제안 방법

• 프레임워크는 계산의 용이성과 정보 가용성의 균형을 이루는 타당한 벤치마크를 특성화하기 위해 벨만 부등식을 사용한다.
• 두 항으로 구성된 회귀 분해를 도입한다: 전체 동적 프로그래밍 대신 타당한 벤치마크를 사용함으로써 발생하는 벨만 손실과, 미래 경로의 불확실성으로 인한 정보 손실.
• 부분적인 미래 정보를 반영하는 적응적인 오프라인 타당 벤치마크를 구성하여 온라인 정책 설계를 이끈다.
• 각 주기마다 현재 상태와 벤치마크를 기반으로 선형 프로그래밍을 재해결한 후, 탐욕적 행동 선택 규칙을 적용한다.
• 프레임워크는 네 가지 문제 유형에 적용된다: 온라인 스토하스틱 나이프실록, 온라인 프로빙, 동적 가격 설정, 나이프실록이 있는 컨텍스트 밴딧.
• 컨텍스트 밴딧의 경우, 조합 최적화와 파rameter 추정을 분리하여, 밴딧 모듈을 사용해 순위를 학습하고 정보 손실을 줄인다.

실험 결과

연구 질문

• RQ1 다양한 온라인 할당 및 가격 설정 문제에 대해 일정한 회귀 정책을 제공할 수 있는 단일 프레임워크를 개발할 수 있는가?
• RQ2 정책 설계를 이끄는 데 도움이 되도록, 회귀를 계산의 용이성 성분과 예측 불확실성 성분으로 분해할 수 있는가?
• RQ3 시간이 지남에 따라 일정한 회귀를 확보하면서도 계산적으로 실행 가능한 오프라인 벤치마크는 어떤 형태여야 하는가?
• RQ4 완전한 동적 프로그래밍을 풀지 않고도 단순한 재해결 기반 정책이 거의 최적의 성능을 달성할 수 있는가?
• RQ5 온라인 의사결정에서 학습되거나 추정된 파라미터를 사용할 때 정보 손실을 어떻게 제한할 수 있는가?

주요 결과

• 프레임워크는 온라인 나이프실록, 프로빙, 동적 가격 설정, 나이프실록이 있는 컨텍스트 밴딧 문제에서 시간 범위 T와 초기 예산 B에 관계없이 일정한 회귀를 달성한다.
• 모든 정책은 각 주기마다 선형 프로그래밍을 재해결하고 탐욕적 행동 규칙을 적용하기만 하므로 실용성과 효율성이 보장된다.
• 벨만 손실과 정보 손실으로 나누어진 회귀 분해는 온라인 의사결정의 성능 트레이드오프에 대한 구조적 통찰을 제공한다.
• 나이프실록이 있는 컨텍스트 밴딧의 경우, 전체 알고리즘의 기대 회귀는 전체 피드백 정책의 회귀에 더해 탐색 및 추정 오차와 관련된 항들을 더한 것보다 작다. 나이브한 밴딧 모듈을 사용할 경우 O(log T)의 회귀를 달성할 수 있다.
• 프레임워크는 연구된 문제를 넘어서 유사한 구조를 가진 다른 온라인 자원 할당 문제에 적용 가능하며 일반화된다.
• 선형적으로 표현 가능한 벤치마크를 가진 문제에 대해 벨만 부등식을 검증하기 위한 충분조건이 제공되어 적용 가능성과 실용성을 향상시킨다.