[논문 리뷰] Idiosyncrasies and challenges of data driven learning in electronic trading

Vangelis Bacoyannis, Vacslav Glukhov외 3명|arXiv (Cornell University)|2018. 11. 23.

Stock Market Forecasting Methods인용 수 11

한 줄 요약

이 논문은 전자 거래에 강화학습(RL)을 적용하는 데 있어 발생하는 과제를 다루며, 다차원적이고 불확실한 보상과 위험 선호도를 처리하기 위해 표준 RL에 유틸리티 기반 확장을 도입한 '확실성 등가 강화학습(CERL)'을 제안한다. 이는 위험 회피와 규제 제약 조건을 유틸리티 함수를 통해 통합하는 프레임워크를 제공하여, 불확실성 하에서 견고하고 설명 가능한 의사결정을 가능하게 한다.

ABSTRACT

We outline the idiosyncrasies of neural information processing and machine learning in quantitative finance. We also present some of the approaches we take towards solving the fundamental challenges we face.

연구 동기 및 목표

• 기존의 규칙 기반 알고리즘과 데이터 기반 학습 간의 격차를 해소하기 위해.
• 금융 분야에서 다차원적이고 불확실한 보상과 위험 선호도를 다루는 데 있어 표준 RL의 한계를 극복하기 위해.
• 고객 목표, 규제 제약 조건, 위험 관리 요소를 강화학습 에이전트에 통합하는 프레임워크를 개발하기 위해.
• 불확실성과 복잡한 제약 조건 하에서 알고리즘 거래의 설명 가능하고 견고한 의사결정을 가능하게 하기 위해.
• 다양한 거래 환경에 걸쳐 RL 에이전트를 체계적으로 확장하면서도 해석 가능성 유지 방법을 제안하기 위해.

제안 방법

• 불확실한 결과를 순위 매기기 위해 유틸리티 함수를 사용한 확실성 등가(CE) 공식을 활용해 표준 RL을 확장하기 위해.
• CERL 업데이트 규칙을 정의: CE(π) = U⁻¹[E[U(r + max CE)]], 여기서 U는 위험 회피 성향을 가진 유틸리티 함수이다.
• 부드러운 제약 조건과 계층적 목표를 가진 마르코프 결정 과정(MDP)으로 거래를 모델링하기 위해.
• 시간이 지남에 따라 증가하는 불확실성에서 자연스럽게 유도되는 할인 인자 γ를 통해 시간에 따라 변하는 위험을 통합하기 위해.
• 유틸리티 기반 순위 매기기를 통해 총합 성과와 꼬리 위험 사이의 균형을 맞추어 고객의 위험 선호도를 반영하기 위해.
• 에이전트가 현실적인 임의의 시장 역학에서 훈련되고 검증될 수 있도록 다중 에이전트 기반의 합성 시장 환경을 제안하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 강화학습이 전자 거래에서 다차원적이고 불확실한 보상을 다룰 수 있도록 적응시킬 수 있는가?
• RQ2 위험 선호도와 규제 제약 조건을 어떻게 RL 에이전트에 공식적으로 통합할 수 있는가?
• RQ3 CERL과 같은 유틸리티 기반 프레임워크가 알고리즘 거래에서의 견고성과 설명 가능성에 기여할 수 있는가?
• RQ4 다른 환경에서 훈련된 에이전트들이 공유 지식을 얻으면서도 작업별 성능을 유지할 수 있는가?
• RQ5 불확실한 기간, 다중 목표, 위험 회피를 수용할 수 있는 순차적 의사결정을 위한 일반적인 프레임워크는 무엇인가?

주요 결과

• CERL 프레임워크는 할인 인자 γ를 시간이 지남에 따라 증가하는 불확실성에서 자연스럽게 파생시키며, 이를 임의의 초모수로 취급하지 않는다.
• 유틸리티 함수를 통해 에이전트는 위험 회피 성향을 가진 결과를 우선시하여, 높은 불확실성의 행동에 대해 확실성 등가 보상을 낮출 수 있다.
• 이 프레임워크는 스칼라 보상 최적화를 넘어서 위험 선호도와 기업 제약 조건을 반영하는 더 풍부한 에이전트 구조를 가능하게 한다.
• 다중 에이전트 기반의 합성 시장 환경은 현실적인 훈련과 평가를 위한 실현 가능한 길을 제공한다.
• 이 방법은 계층적 의사결정과 다중 척도 학습을 지원하여 확장 가능하고 모듈화된 에이전트 설계의 길을 열어준다.
• 도메인 지식과 제약 조건을 보상 구조에 통합함으로써 재정 분야에서 설명 가능한 RL의 기초를 마련한다.