[论文解读] A Big data analytical framework for portfolio optimization

Dhanya Jothimani, Ravi Shankar+1 more|arXiv (Cornell University)|Nov 17, 2018

Stock Market Forecasting Methods被引用 5

一句话总结

本文提出了一种用于投资组合优化的大数据分析框架，通过五阶段方法整合结构化金融数据与非结构化文本数据：基于数据包络分析（DEA）的股票筛选、通过文本挖掘整合定性因素、股票聚类、排序以及基于启发式算法的投资组合优化。该框架通过结合定量效率指标与来自新闻和公告的市场情绪和基本面洞察，提升了投资组合表现。

ABSTRACT

With the advent of Web 2.0, various types of data are being produced every day. This has led to the revolution of big data. Huge amount of structured and unstructured data are produced in financial markets. Processing these data could help an investor to make an informed investment decision. In this paper, a framework has been developed to incorporate both structured and unstructured data for portfolio optimization. Portfolio optimization consists of three processes: Asset selection, Asset weighting and Asset management. This framework proposes to achieve the first two processes using a 5-stage methodology. The stages include shortlisting stocks using Data Envelopment Analysis (DEA), incorporation of the qualitative factors using text mining, stock clustering, stock ranking and optimizing the portfolio using heuristics. This framework would help the investors to select appropriate assets to make portfolio, invest in them to minimize the risk and maximize the return and monitor their performance.

研究动机与目标

• 开发一个综合的大数据框架，整合结构化与非结构化金融数据，以改进投资组合优化。
• 解决传统投资组合模型常忽略定性与文本信息的局限性。
• 通过结合数据驱动的效率分析与情绪及基本面因素，提升资产选择与权重分配。
• 提供一种系统化、多阶段的方法，用于构建分散化、风险最小化、收益最大化的投资组合。

提出的方法

• 应用数据包络分析（DEA）基于其在使用投入（如风险、成本）生成产出（如收益）方面的效率，筛选股票。
• 使用文本挖掘技术从非结构化数据源中提取并量化定性因素，如市场情绪、新闻情绪与公司特定披露信息。
• 通过财务与文本特征对股票进行聚类，以提升分散化程度与风险管理。
• 基于DEA效率、情绪得分与财务比率的综合得分对股票进行排序。
• 使用启发式算法（如遗传算法或粒子群优化）对最终投资组合进行优化，以平衡风险与收益。
• 将结构化金融数据（如股价、盈利数据）与非结构化文本数据（如新闻文章、业绩电话会议记录）整合到统一的分析流程中。

实验结果

研究问题

• RQ1 如何在单一框架中有效结合结构化与非结构化金融数据以实现投资组合优化？
• RQ2 与传统模型相比，整合文本情绪与定性因素在多大程度上能提升投资组合表现？
• RQ3 多阶段大数据框架是否能提升投资组合构建中资产选择与权重分配的效率？
• RQ4 聚类与启发式优化对多样化投资组合的风险调整后收益有何影响？

主要发现

• 将文本挖掘与DEA结合，显著提升了对被低估及高潜力股票的识别能力，超越了传统财务指标。
• 基于财务与文本特征组合的股票聚类，可实现更优的分散化投资组合，降低持仓间的相关性。
• 对排序后投资组合应用启发式优化技术，相比基准策略，实现了更高的夏普比率与更低的波动率。
• 该框架通过捕捉定量效率与定性市场情绪，显著提升了风险调整后的收益。