[論文レビュー] How Big Should Your Data Really Be? Data-Driven Newsvendor: Learning One Sample at a Time

Omar Besbes, Omar Mouchtaki|arXiv (Cornell University)|Jul 6, 2021

Risk and Portfolio Optimization被引用数 20

ひとこと要約

本稿は、データ駆動型ニュースボンダープロブレムにおけるサンプル平均近似（SAA）アルゴリズムの最初の有限標本における正確な解析を提供し、強い性能を発揮するには数十件のサンプルで十分であることが明らかになった。一方、より多くのデータがSAAの最悪ケースの外挙動性能を悪化させる可能性がある。さらに、SAAよりも顕著に優れた性能を示す最小最大最適ポリシーを導出し、特にデータが限られた状況で顕著な性能向上を実現した。また、最小最大レジストの収束速度の正確なレートを、閉形式の乗法的定数を伴って特定した。

ABSTRACT

We study the classical newsvendor problem in which the decision-maker must trade-off underage and overage costs. In contrast to the typical setting, we assume that the decision-maker does not know the underlying distribution driving uncertainty but has only access to historical data. In turn, the key questions are how to map existing data to a decision and what type of performance to expect as a function of the data size. We analyze the classical setting with access to past samples drawn from the distribution (e.g., past demand), focusing not only on asymptotic performance but also on what we call the transient regime of learning, i.e., performance for arbitrary data sizes. We evaluate the performance of any algorithm through its worst-case relative expected regret, compared to an oracle with knowledge of the distribution. We provide the first finite sample exact analysis of the classical Sample Average Approximation (SAA) algorithm for this class of problems across all data sizes. This allows to uncover novel fundamental insights on the value of data: it reveals that tens of samples are sufficient to perform very efficiently but also that more data can lead to worse out-of-sample performance for SAA. We then focus on the general class of mappings from data to decisions without any restriction on the set of policies and derive an optimal algorithm (in the minimax sense) as well as characterize its associated performance. This leads to significant improvements for limited data sizes, and allows to exactly quantify the value of historical information.

研究の動機と目的

• 漸近的でない、すべてのデータサイズにおけるデータ駆動型ポリシーのパフォーマンスを理解すること。
• 新規品問題における任意の標本サイズに対して、SAAアルゴリズムの最悪ケース相対的レジストを分析すること。
• 最小最大意味での最適なデータ駆動型ポリシーを導出し、そのパフォーマンスとデータの価値を定量化すること。
• 最小最大レジストの収束速度の正確なレートを特定し、SAAが乗法的定数の意味で最適であるかどうかを評価すること。

提案手法

• 標本サイズnの関数として、正確な最悪ケース相対的レジストを導出することで、SAAアルゴリズムの有限標本解析を提案。
• すべてのデータから意思決定へのマッピングに対して最小最大最適化フレームワークを導入し、任意の与えられたデータサイズにおける最適ポリシーを導出。
• すべての分布に対して最悪ケースレジストを最小化する、閉形式の表現を持つ最小最大最適ポリシーπ_cvx(k,γ)を導出。
• M=10^5回のモンテカルロ再現を用いた数値シミュレーションにより、ターゲット相対的レジストレベルに到達するためのサンプル数を推定。
• 正確な有限標本解析を用いて、最小最大レジストの収束速度を正確に特定し、乗法的定数を含む。
• 最悪ケースおよびやや緩い分布的仮定の下で、ベルヌーイ、一様、指数、対数正規、パワーロー分布の複数の分布に対してSAAと最小最大最適ポリシーを比較。

実験結果

リサーチクエスチョン

• RQ1 新規品問題における任意の有限標本サイズに対して、SAAアルゴリズムの正確な最悪ケースパフォーマンスは何か？
• RQ2 より多くのデータは常にSAAの外挙動パフォーマンスを向上させるのか、それとも悪化させる可能性があるのか？
• RQ3 最小最大意味での最適なデータ駆動型ポリシーは何か。また、限られたデータにおいてSAAよりもどのように向上するか？
• RQ4 最小最大レジストの正確な収束速度は何か。SAAは乗法的定数の意味で最適であるか？
• RQ5 データの価値は、さまざまなデータサイズおよび分布的仮定の下でどのように変化するか？

主な発見

• SAAアルゴリズムは10～20件のサンプルでさえも、実務において顕著なパフォーマンスを達成できることを示しており、限られたデータでも非常に有効であることが示唆された。
• 最悪ケースのベルヌーイ分布において、SAAは5%の相対的レジストに到達するためには210件のサンプルを必要とするが、より多くのデータが最悪ケースのパフォーマンスを悪化させる可能性がある。
• 最小最大最適ポリシーは、すべての分布およびデータサイズにおいてSAAを常に上回り、同じレジストターゲットに到達するためのサンプル数を最大で30%も削減できる。
• 最悪ケースのベルヌーイ分布において、最小最大最適ポリシーは14件のサンプルで10%の最悪ケース相対的レジストを達成できるが、SAAでは21件が必要である。
• 最小最大レジストの収束速度は、乗法的定数を含む半閉形式の表現で正確に特定され、SAAはレート最適ではあるが、定数最適ではないことが明らかになった。
• 本研究は、最小最大最適化によるSAAのロバスト化が、特にデータが限られた一時的状態（トランジエント状態）において顕著なパフォーマンス向上をもたらすことを示した。