[论文解读] Application of Self-Organizing Maps for clustering DJIA and NASDAQ100 portfolios

Alexey Zherebtsov, Yu. A. Kuperin|arXiv (Cornell University)|May 14, 2003

Complex Systems and Time Series Analysis参考文献 14被引用 4

一句话总结

本文将自组织映射（SOM）应用于道琼斯工业平均指数（DJIA）和纳斯达克100指数（NASDAQ100）的股票聚类，证明SOM能够有效捕捉大型、非结构化金融数据集中的非线性相关性。作者发现，SOM在处理此类聚类任务时优于超度量空间方法，尤其因其能够处理金融时间序列数据中的高维、非线性关系。

ABSTRACT

In this paper we apply the Self-Organized Map (SOM) method for clustering the DJIA and NASDAQ100 portfolios for determination of non-linear correlations between stocks. We represent the application of this method as alternative to ultrametric spaces method. We have found, that SOM method is more relevant and perspective for clustering ill-structured large databases and, in particular, NASDAQ100, where nonlinear processing of the large data samples is required.

研究动机与目标

• 探索使用自组织映射（SOM）对道琼斯工业平均指数（DJIA）和纳斯达克100指数（NASDAQ100）等大型复杂金融投资组合进行聚类的可行性。
• 将基于SOM的聚类方法与此前用于金融数据组织的超度量空间方法进行比较。
• 评估SOM是否能更好地捕捉非结构化金融数据库中的非线性依赖关系和结构模式。
• 评估SOM在应用于高维、真实世界股票收益数据时的可扩展性和鲁棒性。
• 为传统层次聚类提供一种数据驱动的替代方案，尤其在非线性市场条件下。

提出的方法

• 作者应用自组织映射（SOM），一种无监督人工神经网络，将高维股票收益向量映射到低维（通常为2D）网格上。
• 股票以其历史收益时间序列表示，经预处理后作为SOM训练过程的输入向量。
• SOM算法使用竞争学习和邻域函数更新，将相似的股票组织到地图上的相邻区域。
• 通过将映射到同一或相邻节点的股票分组实现聚类，反映其相关性结构。
• 将该方法与基于距离矩阵导出的层次树结构的超度量空间方法进行比较。
• 基于地图的视觉检查以及按行业或相关性分组的股票一致性，评估SOM聚类的性能和可解释性。

实验结果

研究问题

• RQ1 自组织映射能否有效识别并聚类道琼斯工业平均指数（DJIA）和纳斯达克100指数（NASDAQ100）中具有相似收益模式的股票？
• RQ2 基于SOM的聚类方法在捕捉金融数据中的非线性相关性方面，与超度量空间方法相比如何？
• RQ3 SOM在多大程度上能够处理如纳斯达克100等大型金融数据库中固有的高维性和非线性特征？
• RQ4 SOM形成的聚类在金融行业或市场行为方面是否具有可解释性？
• RQ5 SOM方法是否为投资组合聚类提供了比传统层次聚类或基于度量的方法更具鲁棒性和可扩展性的替代方案？

主要发现

• SOM方法成功基于收益相关性，在道琼斯工业平均指数（DJIA）和纳斯达克100指数（NASDAQ100）投资组合中识别出一致的股票聚类。
• SOM在捕捉非线性关系方面表现优于超度量空间方法，尤其在复杂、高维数据中表现更优。
• 作者得出结论，SOM在聚类大型、非结构化金融数据库（如纳斯达克100）方面更具相关性和前景。
• 对SOM地图的视觉检查揭示了按行业和相关性模式分组的有意义的股票聚类，增强了可解释性。
• 该方法在处理具有非线性结构的大规模数据样本方面表现出色，表明其适用于实时或动态投资组合分析。
• 研究证实，SOM可作为传统聚类技术在金融数据挖掘中的强大替代方案，尤其在非线性依赖关系至关重要的情况下。