[论文解读] From Predictions to Data-Driven Decisions Using Machine Learning.

Nathan Kallus|arXiv (Cornell University)|Feb 22, 2014

Anomaly Detection Techniques and Applications参考文献 38被引用 3

一句话总结

本文提出了一种数据驱动的决策框架，通过将机器学习预测结果直接整合到决策建议中，实现最优且低风险的决策。理论上和实证上均表明，即使在非独立同分布（non-i.i.i.d.）的数据条件下，该框架的决策建议也能收敛至已知最优决策（即利用真实数据分布的最优决策），在各种数据实现下均表现出接近最优的性能。

ABSTRACT

Predictive analyses taking advantage of the recent explo-sion in the availability and accessibility of data have been made possible through flexible machine learning methodolo-gies that are often well-suited to the variety and velocity of today’s data collection. This can be witnessed in recent works studying the predictive power of social media data and in the transformation of business practices around data. It is not clear, however, how to go from expected-value pre-dictions based on predictive observations to decisions that yield high profits and carry low risk. As classical problems of portfolio allocation and inventory management show, de-cisions based on mean-field analysis are suboptimal and high in risk. In this paper we endeavor to refit existing machine learning predictive methodology and theory to the purpose of prescribing optimal decisions based directly on data and predictive observations. We study the convergence as more data becomes available of such methods to the omniscient optimal decision, that which exploits these predictive obser-vations to their fullest extent by using the unknown distribu-tion of parameters. Incredibly, the data-driven prescriptions developed converge to the omniscient optimum for almost all realizations of data and for almost any given predictive ob-servation and even when data is not IID, which is generally the case in practice. We consider an example of portfolio allocation to illustrate the power of these methods.

研究动机与目标

• 解决预测性机器学习输出与实际应用中可操作、低风险决策之间的差距。
• 开发一种决策建议框架，直接利用预测观测值来指导最优选择，而非依赖于均场近似。
• 建立理论证明，表明在数据非独立同分布（non-i.i.d.）的情况下，数据驱动的决策仍能收敛至全知最优决策。
• 通过投资组合配置案例研究，验证该框架的鲁棒性与有效性。
• 以一种在实际数据约束下仍能保持性能的方式，统一预测建模与决策理论。

提出的方法

• 将现有的机器学习预测方法适配为直接指导决策规则，绕过传统的均场近似。
• 提出一种决策建议框架，通过数据驱动的优化方法，将预测观测值映射为最优行动。
• 采用理论分析，研究随着数据量增加，该建议方法向全知最优决策收敛的性质。
• 以‘全知最优决策’（即充分利用真实参数分布的决策）作为收敛性的基准。
• 在一般数据条件下分析收敛性，包括实践中常见的非独立同分布（non-i.i.d.）数据。
• 通过投资组合配置示例验证该框架，展示如何将预测洞察转化为高性能、低风险的决策。

实验结果

研究问题

• RQ1 在实际场景中，如何系统性地将机器学习预测转化为最优且低风险的决策？
• RQ2 在现实数据条件下，基于数据的决策建议在多大程度上能收敛至全知最优决策？
• RQ3 当数据为非独立同分布（non-i.i.i.d.）时，该框架是否仍能保持强性能？这在现实应用中是典型情况。
• RQ4 与经典均场决策方法相比，该方法在风险与收益方面表现如何？
• RQ5 基于预测观测值使用该方法时，可建立哪些关于收敛至最优决策的理论保证？

主要发现

• 随着更多数据的可用，所提出的基于数据的决策建议在几乎所有数据实现下均收敛至全知最优决策。
• 即使在数据非独立同分布（non-i.i.d.）的情况下，该方法仍能实现向最优决策的收敛，这在实践中是典型情况。
• 该方法显著优于已知次优且风险较高的经典均场方法。
• 该框架在广泛的预测观测值和数据条件下均保持强性能。
• 投资组合配置示例展示了该方法在实现高收益与低风险方面所具有的实际优势。
• 理论分析证实，该收敛性具有鲁棒性，且在关于数据和预测观测值的一般假设下依然成立。