[論文レビュー] AlgoXpert Alpha Research Framework. A Rigorous IS WFA OOS Protocol for Mitigating Overfitting in Quantitative Strategies

The Anh Pham, Bao Chan Nguyen+1 more|arXiv (Cornell University)|Mar 10, 2026

Software System Performance and Reliability被引用数 0

ひとこと要約

AlgoXpert Alpha Research Framework—a deployment-focused IS–WFA–OOS protocol that reduces overfitting through stability-region parameter selection, purged walk-forward analysis, and defense-in-depth safeguards with pre-committed decision gates.

ABSTRACT

Transitioning a strategy from backtest to live trading is a common failure point for quantitative systems due to parameter overfitting, selection bias, and sensitivity to regime changes. This paper presents the AlgoXpert Alpha Research Framework, a standardized protocol that evaluates strategies across three stages: In Sample (IS), which focuses on stable parameter regions instead of single optima; Walk Forward Analysis (WFA) using rolling windows and purge gaps to reduce information leakage, supported by majority pass and catastrophic veto rules; and Out of Sample (OOS) testing under strict parameter lock with no further tuning. The framework applies a defense in depth structure that includes structural safeguards such as cliff veto, execution controls such as spread and leverage guards, and equity protection mechanisms such as circuit breakers and a kill switch. A case study on USDJPY M5 intraday data demonstrates how to detect overfitting through performance decay and drawdown behavior across chronological stages. A post validation comparison of four alpha variants (v1 to v4) shows rank reversal when the objective changes from maximizing Sharpe to minimizing maximum drawdown, highlighting the trade off between risk adjusted performance and tail risk control.

研究の動機と目的

• 標準化された再現可能なデプロイメント意思決定プロトコルを確立し、定量戦略研究における過適合と選択バイアスを低減する。
• 安定性領域（プラトー）からの選択によりピークバックテスト性能よりパラメータの安定性を優先する。
• 状態を持つ戦略に対して purge 抜きの rolling ウォークフォワード分析を用い、情報漏洩と状態継続を緩和する。
• IS–WFA–OOS 全体に防御的多層セーフガード（実行と株式保護）と事前約束の意思決定ゲートを組み込む。
• IS から WFA へ OOS へと進行を導く合格/不合格ゲート付きの監査可能なワークフローを提供する。

提案手法

• IS安定領域 Omega_stable を定義し、SR(theta) >= 0.9 * SR_opt のプラトー構成を特定する。
• 崖（クリフ）に敏感な構成を除外し、信頼性のために最小取引回数を課す崖拒否を適用する。
• IS 後にパラメータをロックし、WFA の自由度を絞り込まれたセットに制約する。
• purge gap g を一定にした purged rolling WFA を実施し、訓練とテスト間の情報漏洩を抑制し、テスト窓で状態を正規化する。
• 前方テストの指標に対して多数回の合格と壊滅的拒否ゲートを用いて合否を決定し、最終 theta_star をロックする。
• 実行と株式保護を含む防御的多層セーフガードとストレステストの概念をプロトコルの一部として組み込む。

実験結果

リサーチクエスチョン

• RQ1 安定領域パラメータ選択は定量戦略の頑健性と一般化可能性にどのように影響するか？
• RQ2 purge rolling WFA は状態を持つ戦略の情報漏洩と状態継続を効果的に緩和できるか？
• RQ3 事前約束の意思決定ゲートは従来のバックテスト最適化と比較してデプロイ決定を改善するか？
• RQ4 実行対応のセーフガードは実運用リスクとテールリスク管理にどのような影響を与えるか？

主な発見

• フレームワークは極端なバックテストポイントよりも安定領域（プラトー）パラメータ選択を重視する。
• purge gap を用いた purged rolling WFA は状態依存の戦略に対する情報漏洩を低減する。
• 多数回合格＋壊滅的拒否ゲート構造を用いて進行を決定し、WFA 後に最終パラメータをロックする。
• 目的を Sharpe 最大化 から MaxDD 最小化へ切替えた場合の順位反転を示す事例が検証され、リスク調整後の性能とテールリスク管理の間のトレードオフを浮き彫りにしている。
• USDJPY の M5 日内ケーススタディは、過適合検出のための手順ワークフローとパフォーマンス低下・ドローダウン整合性の診断出力を示す。