[論文レビュー] Assessing the Performance of Deep Learning Algorithms for Newsvendor Problem

Yanfei Zhang, Junbin Gao|arXiv (Cornell University)|Jun 9, 2017

Forecasting Techniques and Applications参考文献 10被引用数 4

ひとこと要約

この論文は、元の微分不可能なNewsvendor損失関数を学習の目的関数として用いる深層学習アプローチを提案し、一般的に用いられる二乗損失関数よりも優れた性能を示している。この手法は、過学習を回避することで、良好な汎化性能と外れ値に対するロバスト性を達成しつつ、高いインサンプルフィットを維持する。

ABSTRACT

In retailer management, the Newsvendor problem has widely attracted attention as one of basic inventory models. In the traditional approach to solving this problem, it relies on the probability distribution of the demand. In theory, if the probability distribution is known, the problem can be considered as fully solved. However, in any real world scenario, it is almost impossible to even approximate or estimate a better probability distribution for the demand. In recent years, researchers start adopting machine learning approach to learn a demand prediction model by using other feature information. In this paper, we propose a supervised learning that optimizes the demand quantities for products based on feature information. We demonstrate that the original Newsvendor loss function as the training objective outperforms the recently suggested quadratic loss function. The new algorithm has been assessed on both the synthetic data and real-world data, demonstrating better performance.

研究の動機と目的

• 需要の分布的仮定に強く依存する従来のNewsvendorモデルの限界を解決すること。
• 既知の需要分布を仮定せずに、特徴情報に基づいて注文数量を直接最適化する深層学習ベースのアプローチを開発すること。
• この問題における深層学習訓練において、元のNewsvendor損失関数が二乗損失関数を上回る性能を示すかどうかを評価すること。
• 不足コスト $ c_p $ と保持コスト $ c_h $ の相対的な値が、モデルの学習および性能に与える影響を調査すること。

提案手法

• 元のNewsvendor損失関数 $ C(y) = \mathbb{E}_d[c_p(d-y)_+ + c_h(y-d)_+] $ を、エンドツーエンド学習が可能な深層ニューラルネットワークに統合する。
• 勾配計算を修正することで、元の損失関数の微分不可能性に対処するようにバックプロパゲーションアルゴリズムを適合させる。
• 合成データと実世界の小売需要データセットを用いて、$ c_p/c_h $ の異なる比率の下でモデルを学習および検証する。
• 入力特徴と最適注文数量の間の複雑な非線形関係を学習できる、複数の隠れ層を備えたフィードフォワードニューラルネットワークアーキテクチャを採用する。
• Oroojlooyjadidら（2016年）が提案した二乗損失関数と比較して、元のNewsvendor損失関数を用いたモデルの性能を評価する。
• 交差検証を適用し、トレーニング誤差とテスト誤差の両方を評価することで、インサンプルフィットとアウトオブサンプルの汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 微分不可能性があるにもかかわらず、元のNewsvendor損失関数は深層学習フレームワークに効果的に統合可能か？
• RQ2 元のNewsvendor損失関数を用いた学習は、汎化性能およびロバスト性の観点で、二乗損失関数を用いた学習よりも優れた性能を示すか？
• RQ3 不足コスト $ c_p $ と保持コスト $ c_h $ の相対的な値が、Newsvendor設定における深層学習モデルの学習ダイナミクスおよび予測精度にどのように影響するか？
• RQ4 需要データに外れ値が存在する場合、特に二乗損失で学習されたモデルと比較して、本モデルの性能はいかがなっているか？

主な発見

• 元のNewsvendor損失関数は、特にテストデータにおいて、二乗損失関数よりも汎化性能が優れていることが一貫して確認され、アウトオブサンプル性能が優れていることを示している。
• 外れ値に対して、元の損失関数を用いたモデルは、極端な需要値への過学習を回避するため、より優れたロバスト性を示している。一方、二乗損失関数を用いたモデルは外れ値をフィットしようとし、結果として汎化性能が低下する。
• 大きな外れ値が存在する状況では、初期段階において元の損失関数のトレーニング誤差が二乗損失関数のそれよりも高くなることが確認され、ノイズの多いデータへの過学習を回避していることが裏付けられている。
• 元の損失関数は、強いインサンプルフィットを維持しながら、より優れたアウトオブサンプル性能を達成しており、バイアスとバリアンスの良好なトレードオフを示している。
• 小範囲の需要データでは、元の損失関数が過学習を防ぐ利点が顕著でないことが示され、状況依存の利点であることが示唆されている。
• 結果から、特に需要分布が未知または正規分布でない場合、元の損失関数は深層学習ベースのNewsvendorモデルに適していることが確認された。