[論文レビュー] From Predictions to Data-Driven Decisions Using Machine Learning.

Nathan Kallus|arXiv (Cornell University)|Feb 22, 2014

Anomaly Detection Techniques and Applications参考文献 38被引用数 3

ひとこと要約

本稿は、機械学習の予測結果を直接意思決定の指針に組み込むことで、予測観測を直接意思決定の指針に組み込むデータ駆動型意思決定フレームワークを提案する。理論的および実証的に、非i.i.d.データのもとでも、真の潜在的データ分布を完全に利用した「全知的最適意思決定」に近づくことを示している。多様なデータ実現において、ほぼ最適な性能を達成する。

ABSTRACT

Predictive analyses taking advantage of the recent explo-sion in the availability and accessibility of data have been made possible through flexible machine learning methodolo-gies that are often well-suited to the variety and velocity of today’s data collection. This can be witnessed in recent works studying the predictive power of social media data and in the transformation of business practices around data. It is not clear, however, how to go from expected-value pre-dictions based on predictive observations to decisions that yield high profits and carry low risk. As classical problems of portfolio allocation and inventory management show, de-cisions based on mean-field analysis are suboptimal and high in risk. In this paper we endeavor to refit existing machine learning predictive methodology and theory to the purpose of prescribing optimal decisions based directly on data and predictive observations. We study the convergence as more data becomes available of such methods to the omniscient optimal decision, that which exploits these predictive obser-vations to their fullest extent by using the unknown distribu-tion of parameters. Incredibly, the data-driven prescriptions developed converge to the omniscient optimum for almost all realizations of data and for almost any given predictive ob-servation and even when data is not IID, which is generally the case in practice. We consider an example of portfolio allocation to illustrate the power of these methods.

研究の動機と目的

• 実世界の応用において、予測的機械学習の出力と実行可能な低リスク意思決定の間のギャップを埋めること。
• 平均場近似に依存するのではなく、予測観測を直接的に使用して最適な選択を導く意思決定指針フレームワークを開発すること。
• データが非i.i.d.である場合でも、データ駆動型意思決定が全知的最適意思決定に収束することを理論的に確立すること。
• ポートフォリオ割り当ての事例研究を通じて、フレームワークの頑健性と有効性を実証すること。
• 実際のデータ制約のもとで性能を維持するように、予測モデリングと意思決定理論を統合すること。

提案手法

• 従来の機械学習予測手法を、従来の平均場近似を回避するように適応し、意思決定ルールを直接的に情報提供する。
• 予測観測を最適な行動にマッピングするデータ駆動型最適化を用いた意思決定指針フレームワークを導入する。
• データ量が増加するにつれて、指針手法が全知的最適意思決定に収束することを理論的分析で検証する。
• 真の潜在的パラメータ分布を完全に活用する意思決定（「全知的最適意思決定」として定義される）を収束のベンチマークとして用いる。
• 非i.i.d.データが一般的に見られる実践的状況を想定し、一般のデータ条件のもとでの収束を分析する。
• ポートフォリオ割り当ての例を通じてフレームワークを検証し、予測的知見がどのように高パフォーマンスで低リスクの意思決定に変換されるかを示す。

実験結果

リサーチクエスチョン

• RQ1 実際の設定において、機械学習の予測結果をどのように体系的に最適で低リスクの意思決定に変換できるか？
• RQ2 現実的なデータ条件のもとで、データ駆動型意思決定指針がどの程度全知的最適意思決定に収束するか？
• RQ3 本稿で提案するフレームワークは、実世界の応用で一般的に見られる非i.i.i.d.データのもとでも、強力な性能を維持できるか？
• RQ4 本稿の手法は、リスクと利益の観点から、古典的な平均場意思決定手法に比べてどのように優れているか？
• RQ5 予測観測を用いる場合に、最適意思決定への収束について、どのような理論的保証を確立できるか？

主な発見

• より多くのデータが得られるようになるにつれて、提案されたデータ駆動型意思決定指針は、ほとんどすべてのデータ実現に対して、全知的最適意思決定に収束する。
• 非独立同分布（非i.i.i.d.）のデータであっても、最適意思決定への収束が達成されることを示している。これは実務で一般的な状況である。
• 本手法は、既知の非最適でリスクの高い古典的平均場アプローチを著しく上回る。
• フレームワークは、広範な予測観測とデータ条件の下でも、強力なパフォーマンスを維持する。
• ポートフォリオ割り当ての事例は、本手法が高収益性と低リスクを実現する実用的パワーを持っていることを示している。
• 理論的分析により、収束が一般のデータおよび予測観測の仮定のもとで頑健に成立することが確認された。