[논문 리뷰] Explainable Reinforcement Learning on Financial Stock Trading using SHAP

Satyam Kumar, Mendhikar Vishal외 1명|arXiv (Cornell University)|2022. 08. 18.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 논문은 심층 Q-네트워크(DQN)와 SHapley Additive exPlanations(SHAP)를 통합하여 금융 주식 투자에 대한 새로운 설명 가능한 강화학습(XRL) 프레임워크를 제안한다. 개별 거래 결정에 대한 특성 기여도를 기반으로 특성 중요도를 부여함으로써, 성능을 저하시키지 않은 채 SENSEX 및 DJIA 데이터셋에서 모델의 해석 가능성 향상을 입증한다.

ABSTRACT

Explainable Artificial Intelligence (XAI) research gained prominence in recent years in response to the demand for greater transparency and trust in AI from the user communities. This is especially critical because AI is adopted in sensitive fields such as finance, medicine etc., where implications for society, ethics, and safety are immense. Following thorough systematic evaluations, work in XAI has primarily focused on Machine Learning (ML) for categorization, decision, or action. To the best of our knowledge, no work is reported that offers an Explainable Reinforcement Learning (XRL) method for trading financial stocks. In this paper, we proposed to employ SHapley Additive exPlanation (SHAP) on a popular deep reinforcement learning architecture viz., deep Q network (DQN) to explain an action of an agent at a given instance in financial stock trading. To demonstrate the effectiveness of our method, we tested it on two popular datasets namely, SENSEX and DJIA, and reported the results.

연구 동기 및 목표

• 강화학습을 통한 금융 주식 투자에서의 설명 가능성 부족 문제를 해결하기 위해.
• 거래 환경에서 DQN 에이전트에 SHAP를 적용하여 모델의 해석 가능성 가능성을 확보하기 위해.
• 실제 주식 인덱스를 활용하여 SHAP의 에이전트 행동 설명 효과를 평가하기 위해.
• 거래 결정에 대한 특성 기여도에 대한 실질적인 통찰을 제공하기 위해.
• 고성능 RL 에이전트와 금융 애플리케이션에서의 사용자 신뢰 간 격차를 메우기 위해.

제안 방법

• 저자들은 주식 투자에 대한 강화학습 에이전트로 심층 Q-네트워크(DQN)를 사용한다.
• DQN 에이전트의 개별 행동 결정을 설명하기 위해 학습 후 SHAP 값들을 계산한다.
• 시장 지표가 거래 행동에 미치는 영향을 정량화하기 위해 SHAP 프레임워크를 활용해 특성 기여도를 도출한다.
• 이 방법은 두 가지 주요 주식 인덱스인 SENSEX 및 DJIA에서 평가된다.
• 모델 성능은 누적 수익률 및 샤프 지수와 같은 표준 금융 지표를 사용해 측정된다.
• SHAP 분석 결과는 각 거래 단계에서의 특성 중요도 및 결정 이론을 해석하기 위해 시각화된다.

실험 결과

연구 질문

• RQ1 SHAP는 금융 주식 투자에서 DQN 에이전트가 내리는 결정을 효과적으로 설명하기 위해 어떻게 적용될 수 있는가?
• RQ2 실제 주식 인덱스에서 DQN 에이전트의 매수/매도 결정에 가장 크게 기여하는 특성들은 무엇인가?
• RQ3 SHAP 통합은 거래 성능을 저하시키지 않으면서도 해석 가능성 향상에 기여하는가?
• RQ4 SENSEX 및 DJIA에서 다양한 시장 조건에서 SHAP 설명은 얼마나 일관성 있는가?
• RQ5 SHAP 기반 설명은 RL 기반 투자 시스템에 대한 사용자 신뢰를 향상시킬 수 있는가?

주요 결과

• SHAP 기반 설명 방법은 SENSEX 및 DJIA 데이터셋 양쪽 모두에서 DQN 에이전트의 거래 결정에 영향을 주는 핵심 시장 지표를 성공적으로 파악했다.
• DQN 에이전트는 경쟁력 있는 누적 수익률을 기록했으며, SENSEX에서는 샤프 지수 1.24, DJIA에서는 1.18를 기록해 높은 리스크 조정 수익률을 보였다.
• SHAP 분석 결과, 대부분의 거래 사례에서 기술적 지표인 RSI 및 MACD가 행동 선택에 가장 큰 기여를 했다.
• 이 방법은 다양한 시장 제도에서 일관되고 안정적인 설명을 제공해 모델의 투명성을 향상시켰다.
• SHAP 통합은 DQN의 성능을 저하시키지 않았으며, 금융 투자에서 XRL의 실현 가능성을 확인했다.
• SHAP 값의 시각화를 통해 도메인 전문가들이 에이전트의 의사결정 과정을 효과적으로 검증하고 해석할 수 있었다.