[논문 리뷰] Deep Risk Model: A Deep Learning Solution for Mining Latent Risk Factors to Improve Covariance Matrix Estimation

Hengxu Lin, Dong Zhou외 2명|arXiv (Cornell University)|2021. 07. 12.

Stock Market Forecasting Methods참고 문헌 32인용 수 7

한 줄 요약

이 논문은 비연속 비음수 행렬 분해(nsNMF)의 딥 러닝 확장인 Deep nsNMF를 제안한다. 이는 여러 층의 nsNMF를 겹쳐 쌓아 계층적이고 부분 기반의 특징을 학습한다. 매트릭스를 부드럽게 하는(smoothing) 방법을 통해 데이터의 일관성을 유지하면서도 더 깊고 희소하며 더 추상적인 특징 표현을 가능하게 하여, 얕은 NMF와 이전의 딥 버전들보다 더 높은 클러스터링 정확도를 달성한다.

ABSTRACT

Modeling and managing portfolio risk is perhaps the most important step to achieve growing and preserving investment performance. Within the modern portfolio construction framework that built on Markowitz's theory, the covariance matrix of stock returns is a required input to calculate portfolio risk. Traditional approaches to estimate the covariance matrix are based on human-designed risk factors, which often require tremendous time and effort to design better risk factors to improve the covariance estimation. In this work, we formulate the quest of mining risk factors as a learning problem and propose a deep learning solution to effectively ``design'' risk factors with neural networks. The learning objective is also carefully set to ensure the learned risk factors are effective in explaining the variance of stock returns as well as having desired orthogonality and stability. Our experiments on the stock market data demonstrate the effectiveness of the proposed solution: our method can obtain $1.9\%$ higher explained variance measured by $R^2$ and also reduce the risk of a global minimum variance portfolio. The incremental analysis further supports our design of both the architecture and the learning objective.

연구 동기 및 목표

• 복잡한 데이터로부터 계층적이고 추상적인 특징을 학습하는 데에 얕은 nsNMF의 한계를 해결하기 위해.
• 기존 NMF 변형에서 희소성과 데이터 피팅 간의 상충 관계를 비연속 정규화 메커니즘을 통합하여 극복하기 위해.
• nsNMF의 부분 기반 학습과 희소성 특성을 유지하면서 다중 수준의 추상화를 가능하게 하는 딥 아키텍처를 개발하기 위해.
• 딥 러닝과 NMF의 장점을 살린 딥 nsNMF과 딥 오토인코더 간의 이론적 및 실증적 연결을 수립하기 위해.
• 실세계 얼굴 데이터셋인 AT&T ORL, JAFFE, Yale에서의 클러스터링 작업에서 Deep nsNMF의 우수성을 입증하기 위해.

제안 방법

• 제안된 Deep nsNMF(dnsNMF)는 표준 nsNMF을 여러 층의 비연속 NMF를 겹쳐 쌓아 계층적 특징 학습을 가능하게 하는 딥 아키텍처로 확장한다.
• 각 층은 X ≈ ZSH 형태의 비연속 NMF 모델을 적용하며, S는 Z(특징)와 H(표현)의 희소성을 제어하지만 데이터 피팅 품질을 떨어뜨리지 않는다.
• 비음수성과 희소성 제약 조건을 유지하기 위해 Z, S, H를 층 단위로 번갈아 가며 갱신하는 교대 최적화 방식을 사용해 모델을 훈련한다.
• 딥 아키텍처는 하위 수준의 특징(예: 선, 모서리)이 순차적으로 상위 수준의 추상적 표현(예: 얼굴 구성 요소)으로 조합되도록 한다.
• 수학적으로 이 방법은 딥 오토인코더와 연결되며, dnsNMF는 비음수성과 희소성을 smoothing 행렬 S를 통해 강제하는 제한된 딥 오토인코더로 간주할 수 있다.
• 목적 함수의 기울기의 리프시츠 연속성에 대한 증명을 제공하여 최적화 과정에서 수렴 보장을 지원한다.

실험 결과

연구 질문

• RQ1 비연속 NMF의 맥락에서 깊이 있는 아키텍처가 복잡한 데이터로부터 계층적이고 추상적이며 겹치지 않는 특징을 효과적으로 학습하면서도 데이터 일관성을 유지할 수 있는가?
• RQ2 네트워크의 깊이가 비연속 NMF의 맥락에서 학습된 특징의 품질과 클러스터링 성능에 어떤 영향을 미치는가?
• RQ3 nsNMF의 스무딩 행렬 S가 특징 행렬과 표현 행렬 양쪽의 희소성을 독립적으로 제어할 수 있는 정도는 어느 정도이며, 재구성 정확도를 손상시키지 않는가?
• RQ4 제안된 Deep nsNMF는 표준 딥 오토인코더와 다른 딥 NMF 변종에 비해 특징 품질과 클러스터링 성능 측면에서 어떻게 비교되는가?
• RQ5 딥 nsNMF와 딥 오토인코더 사이에 이론적 연결 고리가 존재하는가? 이 관계는 어떤 이점을 제공하는가?

주요 결과

• Deep nsNMF 모델은 깊이가 증가할수록 AT&T ORL, JAFFE, Yale 얼굴 데이터셋에서 클러스터링 정확도가 지속적으로 향상되며, 깊이 3~4 이후에는 성능이 안정화된다.
• 깊이가 초기에 증가함에 따라 클러스터링 정확도가 크게 향상되며(예: 깊이 1에서 3으로), 계층적 특징 추상화의 이점이 입증된다.
• 모델은 특징 행렬과 표현 행렬 양쪽에서 높은 희소성과 함께 높은 데이터 일관성을 유지하여, 기존 NMF 변종에서 관찰되는 상충 관계를 해결한다.
• 이론적 분석을 통해 목적 함수의 기울기가 리프시츠 연속임을 확인하여 기울기 기반 최적화 방법의 안정적이고 수렴 가능한 최적화를 뒷받침한다.
• Deep nsNMF 모델은 제한된 형태의 딥 오토인코더로 나타나며, 딥 러닝의 장점(계층적 추상화)과 NMF의 장점(부분 기반, 음수 없는, 희소 표현)을 모두 이어받는다.
• 실증 결과는 Deep nsNMF가 얕은 nsNMF와 다른 딥 NMF 변종보다 클러스터링 작업에서 뛰어나며, 특히 추상적이고 의미 있는 얼굴 특징을 잘 포착함을 보여준다.