[논문 리뷰] From Contextual Data to Newsvendor Decisions: On the Actual Performance of Data-Driven Algorithms

Omar Besbes, Will Ma외 1명|arXiv (Cornell University)|2023. 02. 16.

Risk and Portfolio Optimization인용 수 4

한 줄 요약

이 논문은 맥락적 뉴스베이더 문제에서 가중치 부여된 경험 리스크 최소화(WERM) 정책의 최악의 경우의 회귀를 정확하게 특성화하기 위한 최적화 기반 프레임워크를 제안한다. 이는 성능이 유한한 표본 크기에서 최고조를 이룬다는 점과 데이터의 관련성이 학습 곡선을 결정적으로 형성한다는 점을 드러내며, 기존의 집중 기반 상한선이 대규모 데이터셋이 필요하다고 과대평가하는 바를 반박한다.

ABSTRACT

In this work, we study how the relevance/quality and quantity of past data influence performance by analyzing a contextual Newsvendor problem, in which a decision-maker trades off between underage and overage costs under uncertain demand. We consider a setting in which past demands observed under ``close by'' contexts come from close by distributions and analyze the performance of data-driven algorithms through a notion of context-dependent worst-case expected regret. We analyze the broad class of Weighted Empirical Risk Minimization (WERM) policies which weigh past data according to their similarity in the contextual space. This class includes classical policies such as ERM, k-Nearest Neighbors and kernel-based policies. Our main methodological contribution is to characterize exactly the worst-case regret of any WERM policy on any given configuration of contexts. To the best of our knowledge, this provides the first understanding of tight performance guarantees in any contextual decision-making problem, with past literature focusing on upper bounds via concentration inequalities. We instead take an optimization approach, and isolate a structure in the Newsvendor loss function that allows to reduce the infinite-dimensional optimization problem over worst-case distributions to a simple line search. This in turn allows us to unveil fundamental insights that were obfuscated by previous general-purpose bounds. We characterize actual guaranteed performance as a function of the contexts, as well as granular insights on the learning curve of algorithms.

연구 동기 및 목표

• 데이터 양과 관련성이 맥락적 의사결정에서 데이터 기반 정책의 성능에 어떻게 영향을 미치는지 이해하기 위해.
• 맥락 의존적 분포 이탈 하에서 WERM 정책에 대한 정밀한 비점근적 성능 보장을 개발하기 위해.
• 기존의 집중 기반 상한선이 맥락적 뉴스베이더 문제에서 실제 학습 곡선을 잘못 묘사한다는 점을 보여줌으로써 이를 도전하기 위해.
• 이질적인 데이터 관련성 하에서 ERM, k-NN, 커널 기반 정책의 효과적 표본 크기와 최적의 파라미터 선택을 정량화하기 위해.
• 이전의 상한선이 예상하는 바와는 달리, ERM가 적은 수의 표본으로도 양호한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 맥락 간의 이질성과 수요 분포 간 코모고로프 거리 사이의 국소 조건을 수식적으로 정의한다.
• 지정된 국소 조건을 만족하는 적대적 분포 하에서 정책 행동과 최적 행동 간의 기대 손실 차이로 최악의 경우의 회귀를 정의한다.
• 무한차원의 최악의 경우 분포 문제를 일차원 선 탐색으로 줄이기 위해 최적화 기반 접근법인 '집중 없이 학습'을 사용한다.
• 뉴스베이더 손실 함수의 구조적 성질을 활용하여 어떤 WERM 정책에 대해서도 정확한 최악의 경우의 회귀를 특성화한다.
• ERM 및 k-NN-ERM를 포함한 WERM 하위클래스의 최소 최악의 경우의 회귀에 대한 닫힌 형태의 표현식을 유도한다.
• 지수 가중치의 경우 $1/(1-γ)$ 및 k-NN의 경우 $k^*$와 같은 효과적 표본 크기의 대체 측정치를 사용하여 성능를 校정한다.

실험 결과

연구 질문

• RQ1 과거의 맥락과 외삽된 맥락 간의 이질성이 데이터 기반 정책의 최악의 경우의 회귀에 어떻게 영향을 미치는가?
• RQ2 집합 기반 상한선에 의존하는 대신, WERM 정책에 대해 정확하고 날카로운 성능 보장을 도출할 수 있는가?
• RQ3 ERM의 최악의 경우의 회귀는 표본 크기 증가에 따라 단조롭게 감소하는가, 아니면 대규모 데이터셋에서 악화될 수 있는가?
• RQ4 이질적인 데이터 관련성 하에서 WERM 정책의 효과적 표본 크기는 무엇인가?
• RQ5 ERM 및 k-NN-ERM의 최적 파라미터는 맥락의 이질성과 데이터 관련성에 따라 어떻게 변하는가?

주요 결과

• ERM의 최악의 경우의 회귀는 유한한 표본 크기에서 전역 최소값에 도달한 후 더 많은 데이터로 인해 증가하며, 이는 집중 기반 상한선가 암시하는 단조적 향상과 정면으로 배치된다.
• $\Delta = 0.001$일 때, 최적의 k-NN-ERM는 오직 $k^* = 27$개의 표본만을 사용하며, 이는 균일한 이질성 가정이 제시하는 것보다 훨씬 작은 효과적 표본 크기를 시사한다.
• 지수 가중치의 효과적 표본 크기 대체 측정치인 $1/(1 - \gamma^*)$는 $k^*$와 유사한 값을 가지며, $\Delta = 0.001$일 때 $k^* = 27$이면 $1/(1 - \gamma^*) = 20$이다.
• 데이터 관련성이 이질적일 경우, k-NN-ERM가 사용하는 표본 수는 균일한 설정보다 작으며, 이는 저이질성 데이터가 성능에 지배적인 영향을 미친다는 것을 보여준다.
• k-NN-ERM의 최소 최악의 경우의 회귀는 $\Delta = 0.001$일 때 $0.014$이며, 동일 조건에서 ERM의 $0.016$보다 뛰어나다.
• 분석 결과, 이전의 상한선는 분석 방법의 산물이며, 특히 ERM의 경우 실제 학습 곡선의 형태를 반영하지 못한다는 점이 드러났다.