[論文レビュー] Conditional Density Estimation with Neural Networks: Best Practices and Benchmarks

Jonas Rothfuss, Fábio Ferreira+2 more|arXiv (Cornell University)|Mar 3, 2019

Stock Market Forecasting Methods参考文献 22被引用数 6

ひとこと要約

本稿では、金融応用におけるニューラルネットワークベースの条件付き密度推定（CDE）の一般化性能およびロバスト性を向上させるために、ノイズ正則化とデータ正規化の手法を提案する。訓練中にノイズを注入することで密度推定を滑らかにし、入力特徴量を正規化することで、シミュレーションデータおよびユーロ・ストックス50指数のデータにおいて、従来の半パラメトリックおよびノンパラメトリックCDE手法を著しく上回る性能を発揮する。特に、高次モーメントや裾の挙動の推定において顕著な改善が得られる。

ABSTRACT

Given a set of empirical observations, conditional density estimation aims to capture the statistical relationship between a conditional variable $\mathbf{x}$ and a dependent variable $\mathbf{y}$ by modeling their conditional probability $p(\mathbf{y}|\mathbf{x})$. The paper develops best practices for conditional density estimation for finance applications with neural networks, grounded on mathematical insights and empirical evaluations. In particular, we introduce a noise regularization and data normalization scheme, alleviating problems with over-fitting, initialization and hyper-parameter sensitivity of such estimators. We compare our proposed methodology with popular semi- and non-parametric density estimators, underpin its effectiveness in various benchmarks on simulated and Euro Stoxx 50 data and show its superior performance. Our methodology allows to obtain high-quality estimators for statistical expectations of higher moments, quantiles and non-linear return transformations, with very little assumptions about the return dynamic.

研究の動機と目的

• 金融応用におけるニューラルネットワークベースの条件付き密度推定における過学習、初期化感度、ハイパーパrameterの不安定性を解消すること。
• リターンのダイナミクスに強いパラメトリック仮定を最小限に抑えた、ロバストな条件付き密度推定フレームワークの構築。
• 特に裾領域や高次元設定において、カーネル法がしばしば失敗する状況での一般化性能の向上。
• 実際の金融データおよびシミュレーションに対して、ニューラルネットワークベースのCDEを、確立された半パラメトリックおよびノンパラメトリック手法と比較してベンチマークすること。
• 条件付き密度モデルから、平均、分散、歪度、尖度といった高次モーメントを正確に推定できること。

提案手法

• 訓練データに微小なランダムな摂動を追加することでノイズ正則化を導入し、対応する数学的ペナルティとして対数確率の高次導関数（特に2階微分）を抑えることで、滑らかで一般化性の高い密度推定を実現する。
• ノイズ正則化が、条件付き対数密度の2階微分にTikhonov正則化を施すことに等価であることを導出。これにより、一般化性能が向上する。
• 訓練前に入力特徴量をスケーリングし、推定後には密度推定結果を元の分布に戻す変換を施すデータ正規化スキームを提案。
• 混合密度ネットワーク（MDN）およびカーネル混合ネットワーク（KMN）に本手法を適用。両者とも、ニューラルネットワークを用いてガウス・ミクスチャ・モデル（GMM）のパrameterを推定する。
• 条件付きモーメントの計算に、数値積分（ガウス求積）またはモンテカルロサンプル（100,000サンプル）を用いる。
• 多次元の目的変数に対してはモンテカルロ積分、単変量の場合はガウス求積を用い、条件付き密度から平均、分散、歪度、尖度を推定する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ正則化は、金融分野におけるニューラルネットワークベースの条件付き密度推定器のアウトオブサンプル性能を著しく向上させることができるか？
• RQ2 データ正規化は、入力スケールや初期化に依存するCDEモデルの安定性と性能にどのように影響を与えるか？
• RQ3 提案手法を適用したMDNおよびKMNモデルは、実際の金融データにおいて、標準的な半パラメトリックおよびノンパラメトリックCDE手法を上回る性能を示すか？
• RQ4 強いパラメトリック仮定を設けずに、ニューラルネットワークベースのCDEが歪度や尖度といった高次モーメントをどの程度正確に推定できるか？
• RQ5 特に高次元またはスパースなデータ環境において、本手法は小さなサンプルサイズに対してもロバストであるか？

主な発見

• ノイズ正則化により、高カーブ性領域をペナルティ化することで滑らかで一般化性の高い条件付き密度推定が実現され、過学習が軽減され、アウトオブサンプル性能が向上する。
• データ正規化スキームにより、入力スケールへの感受性が低下し、さまざまな特徴量範囲においても訓練の一貫性と性能が向上する。
• ノイズ正則化を適用したMDNおよびKMNモデルは、シミュレーションデータおよびユーロ・ストックス50リターンデータの両方において、標準的な条件付きカーネル密度推定器を上回る性能を発揮する。
• 提案手法により、限られたデータおよび複雑なリターンダイナミクス下でも、条件付き高次モーメント（平均、分散、歪度、尖度）の正確な推定が可能になる。
• 本フレームワークにより、特定のパラメトリック分布族を仮定せずに、非線形リターン変換や分位数の信頼性の高い推定が可能になる。
• 実証的結果から、本手法を用いたニューラルネットワークベースのCDEは、特に尾部挙動や時間的に変化するリスク特性を捉える点で、従来手法に劣らない、あるいは優れた代替手法であることが示された。