[논문 리뷰] Online Stochastic Optimization with Wasserstein Based Non-stationarity

Jiashuo Jiang, Xiaocheng Li외 1명|arXiv (Cornell University)|2020. 12. 13.

Optimization and Search Problems참고 문헌 57인용 수 11

한 줄 요약

이 논문은 다중 예산 제약 조건이 있는 온라인 스토하스틱 최적화에서 분포 이탈을 모델링하기 위해 와서슈타인 기반 비정상성 측정법을 제안한다. 비정상 환경 하에서 데이터 기반 및 정보 부족 설정 모두에서 최적 순위를 달성하는 정보적 경사 하강법(IGDP) 알고리즘을 도입하며, 이는 이중 공간 업데이트에 사전 분포 추정치를 통합한다.

ABSTRACT

We consider a general online stochastic optimization problem with multiple budget constraints over a horizon of finite time periods. In each time period, a reward function and multiple cost functions are revealed, and the decision maker needs to specify an action from a convex and compact action set to collect the reward and consume the budget. Each cost function corresponds to the consumption of one budget. In each period, the reward and cost functions are drawn from an unknown distribution, which is non-stationary across time. The objective of the decision maker is to maximize the cumulative reward subject to the budget constraints. This formulation captures a wide range of applications including online linear programming and network revenue management, among others. In this paper, we consider two settings: (i) a data-driven setting where the true distribution is unknown but a prior estimate (possibly inaccurate) is available; (ii) an uninformative setting where the true distribution is completely unknown. We propose a unified Wasserstein-distance based measure to quantify the inaccuracy of the prior estimate in setting (i) and the non-stationarity of the system in setting (ii). We show that the proposed measure leads to a necessary and sufficient condition for the attainability of a sublinear regret in both settings. For setting (i), we propose a new algorithm, which takes a primal-dual perspective and integrates the prior information of the underlying distributions into an online gradient descent procedure in the dual space. The algorithm also naturally extends to the uninformative setting (ii). Under both settings, we show the corresponding algorithm achieves a regret of optimal order. In numerical experiments, we demonstrate how the proposed algorithms can be naturally integrated with the re-solving technique to further boost the empirical performance.

연구 동기 및 목표

• 비정상적이고 알려지지 않은 분포 하에서 다중 예산 제약 조건이 있는 온라인 스토하스틱 최적화 문제를 다루는 것.
• 사전 추정치의 부정확성과 환경의 비정상성 모두를 측정할 수 있는 통합된 와서슈타인 거리 기반 측정법을 개발하는 것.
• 데이터 기반 및 정보 부족 설정 모두에서 하위선형 순위를 달성하는 알고리즘을 설계하는 것.
• 정상적인 온라인 선형 프로그래밍과 알려진 비.i.i.d. 환경의 네트워크 수익 관리 간 격차를 메우기 위해 알려지지 않은 비정상적 분포를 다루는 것.
• 네트워크 수익 관리 문제에 대한 수치 실험을 통해 알고리즘의 강건성과 성능을 입증하는 것.

제안 방법

• 사전 추정치 또는 진짜 분포 주변의 불확실성 집합을 정의하기 위해 와서슈타인 기반 이탈 예산(WBDB)을 제안하며, 비정상성과 추정 오차를 모두 포괄한다.
• 이중 변수 업데이트를 통해 사전 분포 지식을 통합하는 온라인 이중 공간 경사 하강법인 정보적 경사 하강법(IGDP) 알고리즘을 개발한다.
• 주기적으로 상한 문제를 재해결하는 재해결 히우리스틱을 사용하여 이중 변수를 개선함으로써 계산 효율성을 희생시키지 않은 채 성능을 향상시킨다.
• 결정은 불확실성 집합과 사전 추정치로부터 유도된 이중 가격에 기반한 원-이중 프레임워크를 적용한다.
• 특히 비정상 환경에서 효과적인 비정기적 시간 주기 재최적화 전략을 적용하여 이중 추정치를 적응적으로 보정한다.
• WBDB 불확실성 집합을 순위 분석에 통합하여 하위선형 순위를 달성하기 위한 필요 및 충분 조건을 유도한다.

(a) $\beta=0$ for the uniform setting

실험 결과

연구 질문

• RQ1 와서슈타인 기반 측정법이 온라인 스토하스틱 최적화에서 비정상성과 추정 오차를 날카롭게 특성화할 수 있는가?
• RQ2 사전 분포 추정치를 이중 공간 경사 하강 알고리즘에 통합하면 비정상적 분포 하에서 최적 순위를 달성할 수 있는가?
• RQ3 비정상적 환경에서 온라인 경사 하강법과 주기적 재해결을 결합할 때 계산 효율성과 성능 간 최적의 트레이드오프는 무엇인가?
• RQ4 진짜 분포가 알려져 있지 않고 비정상적일 경우 하위선형 순위를 달성할 수 있는 조건는 무엇인가?
• RQ5 비정상성 수준과 추정 오차 수준이 다양할 때 IGDP 알고리즘의 성능은 기준 방법 대비 어떻게 비교되는가?

주요 결과

• 제안된 와서슈타인 기반 이탈 예산(WBDB)은 데이터 기반 및 정보 부족 설정 모두에서 하위선형 순위를 달성하기 위한 필수 및 충분 조건을 제공한다.
• IGDP 알고리즘은 이중 공간 업데이트에 사전 분포 지식을 적응적으로 통합함으로써 최적 순위를 달성한다.
• 수치 실험 결과, IGDP는 비정상성 강도(α)와 추정 오차(β)의 변화에 관계없이 안정적인 성능을 유지하며, 상한선의 94.9%에서 98.8% 수준의 성능를 기록한다.
• 재해결 히우리스틱은 특히 낮은 빈도(예: 100 또는 200개 주기마다)에서 성능 향상이 두드러지며, 빈도가 100을 초과하면 이득이 미미해진다.
• 높은 추정 오차(β = 0.04) 조건에서도 재해결 기능을 갖춘 IGDP는 상한선의 98.1%에서 98.8% 수준의 성능를 기록하여 강건성을 입증한다.
• 사전 정보를 활용하고 적응적 재최적화를 수행함으로써, 비정상적 환경에서 표준 OGD 유형의 방법보다 IGDP가 뛰어난 성능을 보인다.

(b) $\alpha=2$ for the uniform setting