[논문 리뷰] How Big Should Your Data Really Be? Data-Driven Newsvendor: Learning One Sample at a Time

Omar Besbes, Omar Mouchtaki|arXiv (Cornell University)|2021. 07. 06.

Risk and Portfolio OptimizationDecision Sciences인용 수 20

한 줄 요약

이 논문은 데이터 기반 뉴스베이더 문제에서 샘플 평균 근사(SAA) 알고리즘에 대한 최초의 유한 표본 정확한 분석을 제공하며, 강력한 성능을 내기 위해 수십 개의 샘플만으로도 충분함을 드러내고, 더 많은 데이터가 SAA의 최악의 경우 외부 표본 성능을 악화시킬 수 있음을 규명한다. 또한 SAA보다 훨씬 뛰어난 성능을 보이는 최소화 최적 정책을 유도하고, 특히 제한된 데이터에서 성능 향상을 크게 이룩하며, 최소화 최대 손실의 정확한 수렴 속도를 닫힌 형태의 곱계수를 포함하여 기술한다.

ABSTRACT

We study the classical newsvendor problem in which the decision-maker must trade-off underage and overage costs. In contrast to the typical setting, we assume that the decision-maker does not know the underlying distribution driving uncertainty but has only access to historical data. In turn, the key questions are how to map existing data to a decision and what type of performance to expect as a function of the data size. We analyze the classical setting with access to past samples drawn from the distribution (e.g., past demand), focusing not only on asymptotic performance but also on what we call the transient regime of learning, i.e., performance for arbitrary data sizes. We evaluate the performance of any algorithm through its worst-case relative expected regret, compared to an oracle with knowledge of the distribution. We provide the first finite sample exact analysis of the classical Sample Average Approximation (SAA) algorithm for this class of problems across all data sizes. This allows to uncover novel fundamental insights on the value of data: it reveals that tens of samples are sufficient to perform very efficiently but also that more data can lead to worse out-of-sample performance for SAA. We then focus on the general class of mappings from data to decisions without any restriction on the set of policies and derive an optimal algorithm (in the minimax sense) as well as characterize its associated performance. This leads to significant improvements for limited data sizes, and allows to exactly quantify the value of historical information.

연구 동기 및 목표

• 비점근적으로만 아니라 모든 데이터 크기에서 데이터 기반 정책의 성능를 이해하기 위해.
• 뉴스베이더 문제에서 임의의 표본 크기에서 SAA 알고리즘의 최악의 경우 상대적 손실을 분석하기 위해.
• 최소화 최대 의미에서 최적의 데이터 기반 정책을 도출하고, 그 성능와 데이터의 가치를 정량화하기 위해.
• 최소화 최대 손실의 정확한 수렴 속도를 기술하고, SAA가 곱계수 수준에서 최적인지 여부를 규명하기 위해.

제안 방법

• 표본 크기 n에 따라 정확한 최악의 경우 상대적 손실을 유도하여 SAA 알고리즘에 대한 유한 표본 분석을 제안한다.
• 모든 데이터-결정 맵핑에 대해 최소화 최적화 프레임워크를 도입하여 주어진 표본 크기에 대한 최적 정책을 유도한다.
• 모든 분포에 걸쳐 최악의 경우 손실을 최소화하는 최소화 최적 정책 π_cvx(k,γ)의 닫힌 형태 표현식을 유도한다.
• 목표 상대 손실 수준을 달성하기 위해 필요한 표본 수를 추정하기 위해 M=10^5회의 몬테카를로 반복을 사용한 수치 시뮬레이션을 수행한다.
• 정확한 유한 표본 분석을 통해 최소화 최대 손실의 정확한 수렴 속도를 기술하고, 곱계수를 포함한다.
• 최악의 경우와 온건한 분포 가정 하에서 여러 분포(Bernoulli, Uniform, Exponential, Log-normal, Pareto)에 대해 SAA와 최소화 최적 정책을 비교한다.

실험 결과

연구 질문

• RQ1 뉴스베이더 문제에서 유한 표본 크기에 관계없이 SAA 알고리즘의 정확한 최악의 경우 성능는 무엇인가?
• RQ2 더 많은 데이터가 항상 SAA의 외부 표본 성능를 향상시키는가, 아니면 성능 악화를 초래할 수 있는가?
• RQ3 최소화 최대 의미에서 최적의 데이터 기반 정책는 무엇이며, 제한된 데이터에서 SAA에 비해 어떻게 향상되는가?
• RQ4 최소화 최대 손실의 정확한 수렴 속도는 무엇이며, SAA는 곱계수 수준에서 최적인가?
• RQ5 데이터의 가치가 다양한 데이터 크기와 분포 가정에 따라 어떻게 달라지는가?

주요 결과

• SAA 알고리즘은 10~20개의 샘플만으로도 강력한 성능를 발휘함을 보여주며, 실무에서 제한된 데이터가 매우 효과적일 수 있음을 시사한다.
• 최악의 경우 Bernoulli 분포에서 SAA는 5% 상대 손실을 달성하기 위해 210개의 표본이 필요하지만, 더 많은 데이터가 오히려 최악의 경우 성능를 악화시킬 수 있다.
• 최소화 최적 정책은 모든 분포와 데이터 크기에서 SAA를 일관되게 능가하며, 동일한 손실 목표를 달성하기 위해 최대 30% 적은 표본이 필요하다.
• 최악의 경우 Bernoulli 분포에서 최소화 최적 정책은 최악의 상대 손실 10%를 달성하기 위해 단 14개의 표본으로 충분하며, SAA는 이를 위해 21개의 표본이 필요하다.
• 최소화 최대 손실의 정확한 수렴 속도는 곱계수를 포함한 반닫힌 형태의 표현식으로 기술되었으며, SAA는 속도 수준에서 최적이지만 곱계수 수준에서는 최적이 아님을 드러낸다.
• 이 연구는 SAA를 최소화 최적화를 통해 강화함으로써 성능 향상이 상당히 이루어지며, 특히 제한된 데이터의 일시적 영역에서 두드러진다.