[論文レビュー] QuantAgent: Seeking Holy Grail in Trading by Self-Improving Large Language Model

Saizhuo Wang, Hang Yuan+2 more|arXiv (Cornell University)|Feb 6, 2024

Stock Market Forecasting Methods被引用数 4

ひとこと要約

本論文では、金融市場シグナル生成を段階的に改善する二重ループフレームワークを用いる自己向上型LLMベースの自律的エージェントであるQuantAgentを提案する。内側のループでドメイン特化知識ベースの精錬を、外側のループで現実世界のバックテストを実施することで、エージェントは自律的にシグナル品質と予測精度を向上させ、時間の経過とともに情報係数（IC）とシャープレシオに顕著な改善を達成する。

ABSTRACT

Autonomous agents based on Large Language Models (LLMs) that devise plans and tackle real-world challenges have gained prominence.However, tailoring these agents for specialized domains like quantitative investment remains a formidable task. The core challenge involves efficiently building and integrating a domain-specific knowledge base for the agent's learning process. This paper introduces a principled framework to address this challenge, comprising a two-layer loop.In the inner loop, the agent refines its responses by drawing from its knowledge base, while in the outer loop, these responses are tested in real-world scenarios to automatically enhance the knowledge base with new insights.We demonstrate that our approach enables the agent to progressively approximate optimal behavior with provable efficiency.Furthermore, we instantiate this framework through an autonomous agent for mining trading signals named QuantAgent. Empirical results showcase QuantAgent's capability in uncovering viable financial signals and enhancing the accuracy of financial forecasts.

研究の動機と目的

• LLMエージェントにおける定量的金融分野特化の知識ベースを構築・統合する課題に対処すること。
• 最小限の人的介入で閉ループシステムを用いて自律的エージェントが自己改善できる仕組みを実現すること。
• LLMベースのエージェントにおける知識統合を体系的かつ原理的かつ評価・強化するフレームワークの開発。
• 本フレームワークが高品質で実行可能な金融シグナルを抽出する有効性を実証すること。
• 理論的分析と実証的評価を用いて、自己改善メカニズムの収束性と効率性を検証すること。

提案手法

• フレームワークは二層のループを採用：内側のループはドメイン特化知識ベースを用いた反復的応答精錬、外側のループはバックテストによる現実世界の評価。
• エージェントは取引アイデアに基づいて金融シグナルを生成し、各シグナルは実装詳細、パフォーマンス指標、エキスパートレビューを含む知識ベースに格納される。
• 自己改善は現実世界のバックテストからのフィードバックによって駆動され、新たな検証済みインサイトが知識ベースに自動的に追加される。
• 理論的分析により、プロセスをマルコフ決定過程として定式化し、特定の仮定下で最適行動への収束を証明する。
• シグナル品質は情報係数（IC）、シャープレシオ、エンティティカバレッジ、GPT-4を用いたペairwise関連性比較といった指標で評価される。
• 信号の予測能は、進化する知識ベースから得られる信号を用いてXGBoost回帰で評価される。

Figure 1: Our proposed framework. Left: The outer feedback loop. The agent generates an answer to the problem, submit to the real environment for evaluation, and receives feedback. The feedback is updated to the knowledge base (KB) of the agent that serves further usage. Right: The pipeline of the i

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントは、反復的自己精錬を通じて、金融シグナル生成を自律的に行うことができるか？
• RQ2 内側のループ（知識ベース精錬）と外側のループ（現実世界のバックテスト）の統合が、シグナル品質と予測精度をどのように向上させるか？
• RQ3 人的介入をほとんど行わずに、エージェントの知識ベースがどれほど高度な金融予測を可能にするよう進化できるか？
• RQ4 本フレームワーク下で、自己改善メカニズムの理論的収束挙動はいかなるものか？
• RQ5 情報係数（IC）、シャープレシオ、取引アイデアとの関連性といった主要なシグナル品質指標は、時間の経過とともにどのように変化するか？

主な発見

• エージェントは予測精度の継続的向上を示し、蓄積されたアルファ数が増加するに従いMSE誤差が減少する。
• エージェントが生成するシグナルの情報係数（IC）は明確な上行傾向を示し、時間の経過とともに予測能が向上していることを示している。
• 自己改善を通じてシグナルのシャープレシオは顕著に向上し、リスク調整リターンの強化を反映している。
• GPT-4による評価で得られた勝率マトリクスは、関連性の向上が明確に示されており、マトリクスの右上隅がシグナルとその背後にある取引アイデアとの強い整合性を示している。
• 外側のループは内側のループ単体よりもシグナル品質向上に寄与が大きく、内側・外側の両ループを組み合わせた場合が最高のパフォーマンスを示しており、図4の右端のマトリクスの減少パターンから明らかである。
• エージェントは包括的かつ高品質なシグナル知識ベースを構築し、自律的かつ反復的な学習によってより正確な金融予測を実現している。

Figure 2: The analysis framework. Left: An abstract view of the inner and outer loop, where three different environments (real environment $\theta$ , simulated environment $\bar{\theta}$ and the LLM-inferred environment $\hat{\theta}$ ) are characterized. Right: The chain of proofs that links the ag