[論文レビュー] Style Miner: Find Significant and Stable Explanatory Factors in Time Series with Constrained Reinforcement Learning

Dapeng Li, Feiyang Pan+4 more|arXiv (Cornell University)|Mar 21, 2023

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

Style Miner は、説明力（return）を最大化し、自己相関に基づく制約によって時間的安定性を確保する、制約付き強化学習フレームワークである。これは、高次元時系列データから顕著で安定したスタイル要因を発見するための制約付きマルコフ意思決定過程（CMDP）として問題を定式化したものである。実際の金融データにおいて、熟練者が設計した要因よりも相対的に10%のR二乗の説明力向上を達成した。

ABSTRACT

In high-dimensional time-series analysis, it is essential to have a set of key factors (namely, the style factors) that explain the change of the observed variable. For example, volatility modeling in finance relies on a set of risk factors, and climate change studies in climatology rely on a set of causal factors. The ideal low-dimensional style factors should balance significance (with high explanatory power) and stability (consistent, no significant fluctuations). However, previous supervised and unsupervised feature extraction methods can hardly address the tradeoff. In this paper, we propose Style Miner, a reinforcement learning method to generate style factors. We first formulate the problem as a Constrained Markov Decision Process with explanatory power as the return and stability as the constraint. Then, we design fine-grained immediate rewards and costs and use a Lagrangian heuristic to balance them adaptively. Experiments on real-world financial data sets show that Style Miner outperforms existing learning-based methods by a large margin and achieves a relatively 10% gain in R-squared explanatory power compared to the industry-renowned factors proposed by human experts.

研究の動機と目的

• 高次元時系列データにおいて、低次元で安定的かつ高説明力を持つスタイル要因を同定する課題に対処すること。
• 従来の教師あり・教師なし手法が同時に最適化できない、説明力と時間的安定性のトレードオフをバランスすること。
• 微分可能損失関数や熟練者による事前知識に依存せずに、意味のあるスタイル要因を発見できる強化学習ベースの手法を開発すること。
• ファイナンスや気象学などの複雑な分野において、自動的かつデータ駆動型のスタイル要因発見を可能にすること。

提案手法

• スタイル要因発見を、説明力を報酬として、要因系列の自己相関を制約とする制約付きマルコフ意思決定過程（CMDP）として定式化する。
• 信用配分を改善し、報酬のスパarsity問題を軽減するために、個々の株式が寄与する部分の細かく分類された即時報酬を設計する。
• 時間的不安定性を明示的に罰するため、負の自己相関に基づくコスト項を導入する。
• 報酬最大化と制約満たしのバランスを動的に調整するため、適応的ペナルティ係数を用いたラグランジュヒューリスティックを採用する。
• 時間的依存性をモデル化し、生の時系列入力をもとに連続的なスタイル要因を生成するため、GRUベースの方策ネットワークを用いる。
• 一般化性と安定性を向上させるために、生データおよび熟練者要因からの入力特徴を併用するマルチタスク学習戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、時系列データにおいて高説明力と時間的安定性の両立を図るスタイル要因を効果的に発見できるか？
• RQ2 提案された制約付きRLフレームワークは、教師ありおよび教師なしベースラインと比較して、R二乗および自己相関の観点でどのように差をつけるか？
• RQ3 入力特徴（生データ、熟練者要因、または両者）の違いが、学習されたスタイル要因の性能および安定性に与える影響は何か？
• RQ4 本手法の各構成要素（例：GRU、制約、ペナルティ、報酬分解）が、全体の性能にどのように寄与しているか？

主な発見

• Style Miner は、金融時系列データにおいて、業界標準の熟練者設計要因よりも相対的に10%のR二乗説明力向上を達成した。
• S&P 500データセットでは、Style Miner はR二乗27.4%、自己相関0.92を達成し、DRMや他のRLベースラインを著しく上回った。
• アブレーションスタディの結果、GRU、制約、ペナルティ、報酬分解の各要素が不可欠であることが確認され、報酬分解を除去するとR二乗が11%低下した。
• 生データと熟練者要因の両方を入力とすると、Style Miner はR二乗27.6%、自己相関0.93を達成し、性能と安定性の両面で向上を示した。
• CSI500データセットでは、Style Miner がR二乗31.1%、自己相関0.92を達成し、PPO（28.7%）およびDDPG（28.0%）を両方の指標で上回った。
• 適応的ペナルティ機構により、報酬と制約のバランスがより良くとられ、非適応的対比に比べて高いR二乗を達成しながらも、高い自己相関を維持した。