[論文レビュー] Deep Risk Model: A Deep Learning Solution for Mining Latent Risk Factors to Improve Covariance Matrix Estimation

Hengxu Lin, Dong Zhou+2 more|arXiv (Cornell University)|Jul 12, 2021

Stock Market Forecasting Methods参考文献 32被引用数 7

ひとこと要約

この論文は、非滑らか非負値行列分解（nsNMF）のディープラーニング拡張版として、複数のnsNMF層を積み重ねることで階層的・部分ベースの特徴を学習するDeep nsNMFを提案する。平滑化行列を介してデータ適合性を維持しつつ、より深い、よりスパースで抽象度の高い特徴表現を可能にすることで、顔データセットにおけるクラスタリング精度を向上させ、浅いNMFおよび先行のディープバージョンを上回る。

ABSTRACT

Modeling and managing portfolio risk is perhaps the most important step to achieve growing and preserving investment performance. Within the modern portfolio construction framework that built on Markowitz's theory, the covariance matrix of stock returns is a required input to calculate portfolio risk. Traditional approaches to estimate the covariance matrix are based on human-designed risk factors, which often require tremendous time and effort to design better risk factors to improve the covariance estimation. In this work, we formulate the quest of mining risk factors as a learning problem and propose a deep learning solution to effectively ``design'' risk factors with neural networks. The learning objective is also carefully set to ensure the learned risk factors are effective in explaining the variance of stock returns as well as having desired orthogonality and stability. Our experiments on the stock market data demonstrate the effectiveness of the proposed solution: our method can obtain $1.9\%$ higher explained variance measured by $R^2$ and also reduce the risk of a global minimum variance portfolio. The incremental analysis further supports our design of both the architecture and the learning objective.

研究の動機と目的

• 複雑なデータから階層的で抽象的な特徴を学習する能力に制限を示す浅いnsNMFの課題を解決すること。
• 従来のNMFバージョンにおけるスパースさとデータ適合性のトレードオフを、非滑らか正則化機構を統合することで克服すること。
• nsNMFの部分ベース学習とスパース性を保ちつつ、複数レベルの抽象化を可能にするディープアーキテクチャを開発すること。
• ディープnsNMFとディープオートエンコーダーの間の理論的・実証的関連を確立し、ディープラーニングとNMFの両者の長所を活かすこと。
• AT&T ORL、JAFFE、Yaleといった実世界の顔データセットにおけるクラスタリングタスクにおいて、Deep nsNMFの優位性を実証すること。

提案手法

• 提案されたDeep nsNMF（dnsNMF）は、標準的なnsNMFに複数層の非滑らかNMFを積み重ねることで、ディープアーキテクチャによる階層的特徴学習を可能にする。
• 各層は、X ≈ ZSH の形をとる非滑らかNMFモデルを適用する。ここでSは、Z（特徴）とH（表現）の両方のスパースさを制御する平滑化行列であり、データ適合性を損なわずに制御可能である。
• 非負性とスパース性制約を保ちながら、Z、S、Hを層ごとに交互に最適化するアルゴリズムを用いてモデルを学習する。
• ディープアーキテクチャにより、低レベルの特徴（例：エッジ、コーナー）が逐次的に組み合わされ、高レベルの抽象的表現（例：顔の部品）が得られる。
• この手法は、深層オートエンコーダーと数学的に関連づけられ、dnsNMFは非負性とスパース性を平滑化行列Sによって強制する制限付きディープオートエンコーダーとして機能する。
• 目的関数の勾配のリプシッツ連続性の証明が提示され、最適化における収束保証を支持する。

実験結果

リサーチクエスチョン

• RQ1 ディープアーキテクチャは、データ適合性を維持したまま、複雑なデータから階層的で抽象的かつ重複のない特徴を効果的に学習できるか？
• RQ2 nsNMFの文脈において、ネットワークの深さが学習特徴の質とクラスタリング性能にどのように影響するか？
• RQ3 nsNMFにおける平滑化行列Sは、特徴行列と表現行列の両方におけるスパースさを独立して制御可能であり、再構成精度を損なわずに可能か？
• RQ4 標準的なディープオートエンコーダーや他のディープNMFバージョンと比較して、提案されたディープnsNMFは特徴品質とクラスタリング性能においてどのように優れているか？
• RQ5 ディープnsNMFとディープオートエンコーダーの間に理論的関連性は存在するか？この関係性がどのような利点をもたらすか？

主な発見

• Deep nsNMFモデルは、AT&T ORL、JAFFE、Yale顔データセットにおいて、深さが増すにつれて一貫してクラスタリング精度が向上し、深さ3〜4で安定化する。
• 深さの初期段階での増加（例：深さ1から3）に伴い、クラスタリング精度が顕著に向上し、階層的特徴抽象化の利点が示された。
• モデルは、特徴行列と表現行列の両方で高いスパースさを達成しながらも、高いデータ適合性を維持しており、従来のNMFバージョンで見られるトレードオフを解消した。
• 理論的分析により、目的関数の勾配がリプシッツ連続であることが確認され、勾配ベース最適化手法における安定的かつ収束性の保証が裏付けられた。
• Deep nsNMFモデルは、制限付きディープオートエンコーダーの一種であることが示され、ディープラーニングの長所（階層的抽象化）とNMFの長所（部分ベース、非負、スパース表現）を併せ持つ。
• 実証的結果により、深さのないnsNMFや他のディープNMFバージョンよりも、特に抽象的で意味のある顔特徴を捉える能力において、Deep nsNMFが優れていることが示された。