[論文レビュー] Explainable Reinforcement Learning on Financial Stock Trading using SHAP

Satyam Kumar, Mendhikar Vishal+1 more|arXiv (Cornell University)|Aug 18, 2022

Stock Market Forecasting Methods被引用数 5

ひとこと要約

本論文は、SHapley Additive exPlanations（SHAP）をDeep Q-Networks（DQN）と統合することで、金融株式取引における説明可能な強化学習（XRL）フレームワークを提案する。個々の取引意思決定の特徴重要度を割り当てることで、SENSEXおよびDJIAデータセットにおいて性能を損なわずにモデルの解釈性を向上させることを示した。

ABSTRACT

Explainable Artificial Intelligence (XAI) research gained prominence in recent years in response to the demand for greater transparency and trust in AI from the user communities. This is especially critical because AI is adopted in sensitive fields such as finance, medicine etc., where implications for society, ethics, and safety are immense. Following thorough systematic evaluations, work in XAI has primarily focused on Machine Learning (ML) for categorization, decision, or action. To the best of our knowledge, no work is reported that offers an Explainable Reinforcement Learning (XRL) method for trading financial stocks. In this paper, we proposed to employ SHapley Additive exPlanation (SHAP) on a popular deep reinforcement learning architecture viz., deep Q network (DQN) to explain an action of an agent at a given instance in financial stock trading. To demonstrate the effectiveness of our method, we tested it on two popular datasets namely, SENSEX and DJIA, and reported the results.

研究の動機と目的

• 強化学習を用いた金融株式取引における説明可能性の欠如に対処すること。
• 取引環境におけるDQNエージェントにSHAPを適用することで、モデルの解釈性を可能にすること。
• 実世界の株価インデックスを用いて、SHAPの取引行動説明効果を評価すること。
• 取引意思決定における特徴貢献度に関する実用的インサイトを提供すること。
• 高性能なRLエージェントと金融応用分野におけるユーザー信頼のギャップを埋めること。

提案手法

• 著者らは、株式取引の強化学習エージェントとしてDeep Q-Network（DQN）を採用した。
• DQNエージェントの個々の行動意思決定を説明するために、トレーニング後におけるSHAP値を計算した。
• 市場指標が取引行動に与える影響を定量化するために、SHAPフレームワークを用いて特徴の寄与度を導出した。
• 本手法は、2つの主要な株価インデックス（SENSEXおよびDJIA）で評価された。
• モデルのパフォーマンスは、累積リターンやシャープレシオといった標準的なファイナンシャル指標で測定された。
• SHAP分析の可視化により、各取引ステップにおける特徴の重要度と意思決定の根拠を解釈可能にした。

実験結果

リサーチクエスチョン

• RQ1 DQNエージェントが金融株式取引で下した意思決定を説明するために、SHAPをどのように効果的に適用できるか。
• RQ2 実株価インデックスにおいて、DQNエージェントの「買い／売り」意思決定に最も顕著に寄与する特徴は何か。
• RQ3 SHAPの統合により、取引パフォーマンスを劣化させることなく解釈性が向上するか。
• RQ4 SENSEXおよびDJIAにおいて、異なる市場状況下でSHAPの説明はどれほど一貫性を示すか。
• RQ5 SHAPベースの説明は、RL駆動の取引システムにおけるユーザー信頼を向上させられるか。

主な発見

• SHAPベースの説明手法は、SENSEXおよびDJIAデータセットの両方において、DQNエージェントの取引意思決定に影響を与える主要な市場指標を的確に同定した。
• DQNエージェントは競争力のある累積リターンを達成し、SENSEXではシャープレシオ1.24、DJIAでは1.18を記録し、良好なリスク調整下のパフォーマンスを示した。
• SHAP分析により、RSIやMACDといったテクニカル指標が、大多数の取引状況で行動選択に最も大きな寄与を示した。
• 本手法は、異なる市場レジームにおいても一貫性があり、安定した説明を提供し、モデルの透明性を高めた。
• SHAPの統合によりDQNのパフォーマンスが低下しなかったことから、金融取引におけるXRLの実現可能性が裏付けられた。
• SHAP値の可視化により、ドメインエキスパートがエージェントの意思決定プロセスを効果的に検証および解釈することが可能になった。