[논문 리뷰] Conditional Density Estimation with Neural Networks: Best Practices and Benchmarks

Jonas Rothfuss, Fábio Ferreira외 2명|arXiv (Cornell University)|2019. 03. 03.

Stock Market Forecasting Methods참고 문헌 22인용 수 6

한 줄 요약

이 논문은 금융 응용 분야에서 신경망 기반 조건부 밀도 추정(CDE)의 일반화 및 강인성 향상을 위해 노이즈 정규화 및 데이터 정규화 기법을 제안한다. 학습 중 노이즈 주입을 통해 밀도 추정을 부드럽게 하고 입력 특징을 정규화함으로써, 시뮬레이션 데이터 및 유로 스톡스 50 데이터에서 전통적인 준비분석 및 비준비분석 CDE 방법보다 유의미하게 뛰어난 성능을 보이며, 특히 고차모멘트와 꼬리 행동을 추정하는 데서 두각을 나타낸다.

ABSTRACT

Given a set of empirical observations, conditional density estimation aims to capture the statistical relationship between a conditional variable $\mathbf{x}$ and a dependent variable $\mathbf{y}$ by modeling their conditional probability $p(\mathbf{y}|\mathbf{x})$. The paper develops best practices for conditional density estimation for finance applications with neural networks, grounded on mathematical insights and empirical evaluations. In particular, we introduce a noise regularization and data normalization scheme, alleviating problems with over-fitting, initialization and hyper-parameter sensitivity of such estimators. We compare our proposed methodology with popular semi- and non-parametric density estimators, underpin its effectiveness in various benchmarks on simulated and Euro Stoxx 50 data and show its superior performance. Our methodology allows to obtain high-quality estimators for statistical expectations of higher moments, quantiles and non-linear return transformations, with very little assumptions about the return dynamic.

연구 동기 및 목표

• 금융 응용 분야에서 신경망 기반 조건부 밀도 추정(CDE)의 과적합, 초기화 민감도, 하이퍼파ram터 불안정성 문제를 해결하기 위해.
• 수익률 동역학에 대한 강력한 파rametric 가정 없이도 조건부 밀도를 강인하게 추정할 수 있는 프레임워크를 개발하기 위해.
• 핵심 방법론이 실패하기 쉬운 고차원 설정 및 꼬리 영역에서의 일반화 성능 향상을 위해.
• 실제 금융 데이터와 시뮬레이션에서 신경망 기반 CDE를 기존 준비분석 및 비준비분석 방법과 비교하기 위해.
• 조건부 밀도 모델에서 평균, 분산, 왜도, 첨도와 같은 고차모멘트를 정확하게 추정할 수 있도록 하기 위해.

제안 방법

• 학습 데이터에 작은 무작위 편향을 추가함으로써 노이즈 정규화를 도입하여, 로그확률의 고차도를 수학적으로 억제함으로써 더 부드러운 밀도 추정을 유도한다.
• 노이즈 정규화가 조건부 로그밀도의 두 번째 도함수에 대한 티호노프 정규화와 동치임을 도출함으로써 일반화 성능 향상에 기여한다.
• 학습 전에 입력 특징을 스케일링하고, 학습 후에 밀도 추정을 원래 분포로 변환하는 데이터 정규화 기법을 제안한다.
• 혼합밀도망(MDN)과 커널 혼합망(KMN)에 이 방법을 적용하며, 이들 모두가 신경망을 사용하여 가우시안 혼합모델(GMM)의 파라미터를 설정한다.
• 조건부 모멘트를 계산하기 위해 수치적 적분(Gaussian quadrature) 또는 몬테카를로 샘플링(100,000개 샘플)을 사용한다.
• 다변량 목표 변수에는 몬테카를로 적분을, 단변량의 경우에는 가우시안 구적법을 사용하여 조건부 밀도에서 평균, 분산, 왜도, 첨도를 추정한다.

실험 결과

연구 질문

• RQ1 노이즈 정규화가 금융 분야의 신경망 기반 조건부 밀도 추정기의 샘플 외 성능을 유의미하게 향상시킬 수 있는가?
• RQ2 데이터 정규화가 입력 스케일과 초기화에 대한 CDE 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 제안된 정규화 및 정규화 기법을 적용한 MDN 및 KMN 모델이 실제 금융 데이터에서 기존 준비분석 및 비준비분석 CDE 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 강력한 파라미터 가정 없이도 신경망 기반 CDE가 왜도 및 첨도와 같은 고차모멘트를 얼마나 정확하게 추정할 수 있는가?
• RQ5 작은 표본 크기, 특히 고차원 또는 희소 데이터 영역에서 제안된 방법이 강인한가?

주요 결과

• 노이즈 정규화는 고곡률 영역을 억제함으로써 더 부드럽고 일반화 가능한 조건부 밀도 추정을 가능하게 하여 과적합을 줄이고 샘플 외 성능을 향상시킨다.
• 데이터 정규화 기법은 입력 스케일 민감도를 감소시켜 다양한 특징 범위에서 훈련의 일관성과 성능을 향상시킨다.
• 노이즈 정규화를 적용한 MDN 및 KMN 모델은 시뮬레이션 데이터 및 유로 스톡스 50 수익률 데이터에서 기존의 조건부 커널밀도 추정기보다 뛰어난 성능을 보였다.
• 제안된 방법은 제한된 데이터와 복잡한 수익률 동역학 조건에서도 조건부 고차모멘트(평균, 분산, 왜도, 첨도)를 정확하게 추정할 수 있도록 한다.
• 이 프레임워크는 조건부 분포에 특정 파라미터 가정을 두지 않더라도 비선형 수익률 변환 및 분위수를 신뢰성 있게 추정할 수 있도록 한다.
• 실증 결과에 따르면, 제안된 기법을 적용한 신경망 기반 CDE는 특히 꼬리 행동과 시간에 따라 변화하는 리스크 특성을 포착하는 데 있어 전통적 방법보다 우월하거나 동등한 대안이 된다.