[论文解读] Deep Risk Model: A Deep Learning Solution for Mining Latent Risk Factors to Improve Covariance Matrix Estimation

Hengxu Lin, Dong Zhou+2 more|arXiv (Cornell University)|Jul 12, 2021

Stock Market Forecasting Methods参考文献 32被引用 7

一句话总结

本文提出 Deep nsNMF，即非光滑非负矩阵分解（nsNMF）的深度学习扩展，通过堆叠多层 nsNMF 学习分层的、基于部件的特征。该方法通过引入平滑矩阵保持数据保真度，在实现更深、更稀疏、更抽象的特征表示的同时，提升了人脸数据集上的聚类准确率，优于浅层 NMF 及先前的深度变体。

ABSTRACT

Modeling and managing portfolio risk is perhaps the most important step to achieve growing and preserving investment performance. Within the modern portfolio construction framework that built on Markowitz's theory, the covariance matrix of stock returns is a required input to calculate portfolio risk. Traditional approaches to estimate the covariance matrix are based on human-designed risk factors, which often require tremendous time and effort to design better risk factors to improve the covariance estimation. In this work, we formulate the quest of mining risk factors as a learning problem and propose a deep learning solution to effectively ``design'' risk factors with neural networks. The learning objective is also carefully set to ensure the learned risk factors are effective in explaining the variance of stock returns as well as having desired orthogonality and stability. Our experiments on the stock market data demonstrate the effectiveness of the proposed solution: our method can obtain $1.9\%$ higher explained variance measured by $R^2$ and also reduce the risk of a global minimum variance portfolio. The incremental analysis further supports our design of both the architecture and the learning objective.

研究动机与目标

• 为解决浅层 nsNMF 在从复杂数据中学习分层和抽象特征方面的局限性。
• 通过整合非光滑正则化机制，克服传统 NMF 变体中稀疏性与数据拟合之间的权衡。
• 开发一种深度架构，在保持 nsNMF 的部件学习与稀疏性的同时，实现多层级抽象。
• 在深度 nsNMF 与深度自编码器之间建立理论与实证联系，结合深度学习与 NMF 的优势。
• 在真实世界的人脸数据集（如 AT&T ORL、JAFFE 和 Yale）上，展示 Deep nsNMF 在聚类任务中的优越性。

提出的方法

• 所提出的 Deep nsNMF（dnsNMF）通过堆叠多层非光滑 NMF 扩展标准 nsNMF，利用深度架构实现分层特征学习。
• 每一层应用形式为 X ≈ ZSH 的非光滑 NMF 模型，其中 S 为平滑矩阵，用于控制 Z（特征）与 H（表示）的稀疏性，同时不降低数据拟合度。
• 采用交替优化方案逐层更新 Z、S 和 H，确保保持非负性与稀疏性约束。
• 深度架构使低层特征（如边缘、角点）通过逐层组合形成高层抽象表示（如面部组件）。
• 该方法在数学上与深度自编码器相关联，dnsNMF 可视为一种受限的深度自编码器，通过平滑矩阵 S 强制实施非负性与稀疏性。
• 提供了目标函数梯度的利普希茨连续性证明，支持优化过程中的收敛性保证。

实验结果

研究问题

• RQ1 深度架构能否在保持数据保真度的前提下，有效从复杂数据中学习分层、抽象且非重叠的特征？
• RQ2 在非光滑 NMF 背景下，网络深度如何影响所学特征质量与聚类性能？
• RQ3 nsNMF 中的平滑矩阵 S 在不损害重建精度的前提下，能在多大程度上独立控制特征矩阵与表示矩阵的稀疏性？
• RQ4 与标准深度自编码器及其他深度 NMF 变体相比，所提出的 Deep nsNMF 在特征质量与聚类性能方面表现如何？
• RQ5 Deep nsNMF 与深度自编码器之间是否存在理论联系？该关系带来了哪些优势？

主要发现

• 随着深度增加，Deep nsNMF 模型在 AT&T ORL、JAFFE 和 Yale 人脸数据集上的聚类准确率持续提升，性能在深度 3–4 后趋于稳定。
• 聚类准确率在早期深度增长阶段（如从深度 1 到 3）显著提升，表明分层特征抽象具有明显优势。
• 该模型在保持高数据保真度的同时，实现了特征矩阵与表示矩阵的高稀疏性，解决了传统 NMF 变体中常见的权衡问题。
• 理论分析证实，目标函数的梯度具有利普希茨连续性，支持基于梯度的优化方法实现稳定收敛。
• 实证表明，Deep nsNMF 是一种受限的深度自编码器形式，兼具深度学习（分层抽象）与 NMF（基于部件、非负、稀疏表示）的优势。
• 实验结果表明，Deep nsNMF 在聚类任务中优于浅层 nsNMF 及其他深度 NMF 变体，尤其在捕捉抽象且有意义的面部特征方面表现突出。