[論文レビュー] Holistic Robust Data-Driven Decisions

A. Bennouna, Bart P. G. Van Parys+1 more|arXiv (Cornell University)|Jul 19, 2022

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本論文は、統計的誤差、データノイズ、データ不適合性の3つの過学習要因を同時に保護する、画期的な分布ロバスト最適化定式化——包括的ロバスト（HR）データドリブン意思決定——を提案する。Kullback-LeiblerとLévy-Prokhorovの不確実性集合を組み合わせることで、ポートフォリオ選択において標準的なベンチマークを上回る優れたリスク・リターントレードオフを達成する。

ABSTRACT

The design of data-driven formulations for machine learning and decision-making with good out-of-sample performance is a key challenge. The observation that good in-sample performance does not guarantee good out-of-sample performance is generally known as overfitting. Practical overfitting can typically not be attributed to a single cause but is caused by several factors simultaneously. We consider here three overfitting sources: (i) statistical error as a result of working with finite sample data, (ii) data noise, which occurs when the data points are measured only with finite precision, and finally, (iii) data misspecification in which a small fraction of all data may be wholly corrupted. Although existing data-driven formulations may be robust against one of these three sources in isolation, they do not provide holistic protection against all overfitting sources simultaneously. We design a novel data-driven formulation that guarantees such holistic protection and is computationally viable. Our distributionally robust optimization formulation can be interpreted as a novel combination of a Kullback-Leibler and Lévy-Prokhorov robust optimization formulation. In the context of classification and regression problems, we show that several popular regularized and robust formulations naturally reduce to a particular case of our proposed novel formulation. Finally, we apply the proposed HR formulation to two real-life applications and study it alongside several benchmarks: (1) training neural networks on healthcare data, where we analyze various robustness and generalization properties in the presence of noise, labeling errors, and scarce data, (2) a portfolio selection problem with real stock data, and analyze the risk/return tradeoff under the natural severe distribution shift of the application.

研究の動機と目的

• 既存のデータドリブン定式化が、一度に1つの過学習要因に対してのみロバストであるという限界を解消すること。
• 統計的誤差、データノイズ、データ不適合性の3つを同時に防衛する統一された定式化を開発すること。
• 機械学習および意思決定における包括的ロバスト性を達成しつつ、計算上の実行可能性を保証すること。
• 実世界の応用において、提案された定式化が標準的なベンチマークを上回ることを実証すること。
• 一般的に用いられる正則化およびロバストな定式化が、提案されたHRフレームワークの特別なケースであることを示すこと。

提案手法

• Kullback-LeiblerとLévy-Prokhorovの距離を組み合わせた新しい不確実性集合を提案し、分布的不確実性をモデル化する。
• 有限サンプルサイズ、測定精度、データの不正への不変性を保証する分布ロバスト最適化定式化を設計する。
• 分類および回帰問題に適した計算的に取り扱いやすい再定式化を導出する。
• 一般的な正則化およびロバストな定式化（例：Tikhonov、Lasso、ロバストM推定量）がHR定式化の特別なケースであることを示す理論的関連性を確立する。
• 歴史的株価データを用いて、実世界のポートフォリオ選択問題にHR定式化を適用する。
• HR不確実性集合を用いた経験的リスク最小化により、より優れたオフ・サンプル性能を示す意思決定を導出する。

実験結果

リサーチクエスチョン

• RQ1 1つのデータドリブン定式化が、統計的誤差、データノイズ、データ不適合性の3つを同時に保護できるか？
• RQ2 HR定式化は、標準的なSAAおよびERM手法と比較して、オフ・サンプル性能においてどのように異なるか？
• RQ3 実用的な意思決定設定において、HR定式化の計算上の実行可能性およびスケーラビリティはいかがなものか？
• RQ4 既存のロバストおよび正則化定式化が、HRフレームワークのどの程度の特別なケースとして現れるか？
• RQ5 HR定式化は、ベンチマークと比較して、実際の金融データにおいてより優れたリスク・リターントレードオフを達成できるか？

主な発見

• 提案されたHR定式化は、統計的誤差、データノイズ、データ不適合性という3つの過学習要因を同時に包括的に保護する。
• 標準的なベンチマークと比較して、実際のポートフォリオ選択問題においてHR定式化が顕著にリスク・リターントレードオフを改善する。
• HR定式化は、いくつかの一般的な正則化およびロバスト最適化手法を特別なケースとして一般化し、それらを1つのロバストフレームワークに統合する。
• 不確実性集合におけるKullback-LeiblerとLévy-Prokhorovの距離の組み合わせにより、単独で用いる場合よりも強い分布的ロバスト性が達成される。
• 実株価データを用いた実証的結果から、HR定式化から導かれる意思決定がSAAおよびERMの結果よりも優れたオフ・サンプル性能を示すことが確認された。
• HR定式化は計算的に実行可能かつスケーラブルであり、データドリブン意思決定の文脈における実用的導入を可能にする。