[論文レビュー] FinCon: A Synthesized LLM Multi-Agent System with Conceptual Verbal Reinforcement for Enhanced Financial Decision Making

Yangyang Yu, Zhiyuan Yao+15 more|arXiv (Cornell University)|Jul 9, 2024

Multi-Agent Systems and Negotiation被引用数 11

ひとこと要約

FinConは、単一資産の取引とポートフォリオ管理を強化する、二層のマネージャー–アナリスト型のマルチエージェントフレームワークで、二段階のリスク管理コンポーネントと概念的な言語強化を組み込んだLLMベースの枠組みを提供します。タスク間で一般化可能で、通信コストを低減しつつ自己反省に基づくプロンプト最適化を可能にします。

ABSTRACT

Large language models (LLMs) have demonstrated notable potential in conducting complex tasks and are increasingly utilized in various financial applications. However, high-quality sequential financial investment decision-making remains challenging. These tasks require multiple interactions with a volatile environment for every decision, demanding sufficient intelligence to maximize returns and manage risks. Although LLMs have been used to develop agent systems that surpass human teams and yield impressive investment returns, opportunities to enhance multi-sourced information synthesis and optimize decision-making outcomes through timely experience refinement remain unexplored. Here, we introduce the FinCon, an LLM-based multi-agent framework with CONceptual verbal reinforcement tailored for diverse FINancial tasks. Inspired by effective real-world investment firm organizational structures, FinCon utilizes a manager-analyst communication hierarchy. This structure allows for synchronized cross-functional agent collaboration towards unified goals through natural language interactions and equips each agent with greater memory capacity than humans. Additionally, a risk-control component in FinCon enhances decision quality by episodically initiating a self-critiquing mechanism to update systematic investment beliefs. The conceptualized beliefs serve as verbal reinforcement for the future agent's behavior and can be selectively propagated to the appropriate node that requires knowledge updates. This feature significantly improves performance while reducing unnecessary peer-to-peer communication costs. Moreover, FinCon demonstrates strong generalization capabilities in various financial tasks, including single stock trading and portfolio management.

研究の動機と目的

• ロバストな分散でボラティリティ下の逐次的な金融意思決定を改善するために、LLMベースのマルチエージェント協調を活用する。
• 実在の投資企業に触発された統合的なマネージャー-アナリスト階層を設計し、情報処理と意思決定の質を向上させる。
• エピソード内およびエピソード間のリスクを管理し、知識更新を導く二段階のリスク管理機構を導入する。
• 投資信念を更新し、洞察をエージェントへ選択的に伝播させる言語的強化法を開発し、通信オーバーヘッドを低減する。
• 多モーダル市場データを用いて、単一銘柄取引とポートフォリオ管理タスクへの一般化を示す。

提案手法

• プロンプトと行動を導くリスク管理コンポーネントを備えた、統合的なマネージャー-アナリスト階層通信構造を提案する。
• ニュース/レポートのテキスト、決算説明会の音声、表形式データといった単一モーダルデータ源を扱う7つの専門アナリストエージェントを展開し、投資洞察を抽出する。
• 単一のマネージャーエージェントを用いて洞察を統合し、取引判断を下し、リスク管理コンポーネントと連携する。
• エピソード内CVaRベースのリスクアラートとエピソード外の概念的言語強化（CVRF）による投資信念の更新という二段階のリスク管理システムを実装する。
• 概念的言語強化（CVRF）を導入して軌跡レベルの洞察を言語プロンプトに蒸留し、概念更新を関連アナリストへ伝播する。
• 金融タスクをPOMDPとして扱い、テキスト勾配降下風のプロンプト最適化と目的はリスク制約下で割引された累積PnLの最大化とする。
• 訓練時には、重複する決定系列を学習率の代理指標として用いてテキスト勾配降下を行いプロンプトを更新する。テスト時には、エピソード内リスク制御を用いて学習済み信念を適用する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: FinConは単一資産取引とポートフォリオ管理タスクの両方を堅牢に処理できますか？
• RQ2 RQ2: エピソード内のリスク管理は、エピソード中の高品質な意思決定の維持に有効ですか？
• RQ3 RQ3: エピソードを超えたリスク管理（CVRF）は、マネージャーの信念をタイムリーに更新し性能を向上させるのに有効ですか？
• RQ4 RQ4: 階層化されたマネージャー-アナリストの役割と選択的通信は、オーバーヘッドを削減しつつ意思決定の質を維持しますか？
• RQ5 RQ5: 提案手法はさまざまな金融データモーダリティ（テキスト、音声、表形式）を横断して一般化可能ですか？

主な発見

• FinConは複数銘柄にわたり、累積リターンとシャープ比の点で、LLMベースおよびDRLベースのベースラインを大幅に上回る。
• FinConは多くのベースラインと比較して最大ドローダウンを抑え、リスク管理の向上を示す。
• アブレーション結果は、CVaRベースのエピソード内リスクアラートとCVRFベースのエピソード間更新を含むリスク管理設計が、取引性能を大幅に改善することを示唆する。
• モダリティ別アナリストエージェントを備えた階層的なマネージャー-アナリスト構造は、意思決定の質を維持しつつ不必要なピア間通信を削減する。
• この枠組みは、単一銘柄取引に加えてポートフォリオ管理への一般化を実証する。