[논문 리뷰] Get Real: Realism Metrics for Robust Limit Order Book Market Simulations

Svitlana Vyetrenko, David R. Byrd외 5명|arXiv (Cornell University)|2019. 12. 10.

Complex Systems and Time Series Analysis참고 문헌 46인용 수 8

한 줄 요약

이 논문은 한정지정가주문서(LOB) 시 thị장 시뮬레이션을 평가하기 위해 종합적인 현실성 지표 세트를 제안하며, 실제 시장 데이터와 두 가지 ABIDES 기반 시뮬레이션 설정에 적용한다. 연구는 심화된 시뮬레이션이라도 볼륨-변동성 상관관계, 내부적 패턴, 변동성 집중 등 주요 성질을 완전히 재현하지 못함을 입증하며, 더 높은 정확도를 확보하기 위해 학습 능력을 갖춘 에이전트를 통합할 필요성을 제기한다.

ABSTRACT

Machine learning (especially reinforcement learning) methods for trading are increasingly reliant on simulation for agent training and testing. Furthermore, simulation is important for validation of hand-coded trading strategies and for testing hypotheses about market structure. A challenge, however, concerns the robustness of policies validated in simulation because the simulations lack fidelity. In fact, researchers have shown that many market simulation approaches fail to reproduce statistics and stylized facts seen in real markets. As a step towards addressing this we surveyed the literature to collect a set of reference metrics and applied them to real market data and simulation output. Our paper provides a comprehensive catalog of these metrics including mathematical formulations where appropriate. Our results show that there are still significant discrepancies between simulated markets and real ones. However, this work serves as a benchmark against which we can measure future improvement.

연구 동기 및 목표

• 트레이딩 에이전트의 훈련 및 검증에 사용되는 한정지정가주문서(LOB) 시장 시뮬레이션의 현실성 부족 문제를 해결하기 위해.
• 시뮬레이션에서 재현해야 할 실제 금융 시장의 핵심 성질(스타일라이즈드 팩트)을 식별하고 분류하기 위해.
• 실제 시장 데이터에서 유도된 실증 지표를 활용해 두 가지 ABIDES 기반 시뮬레이션 설정의 현실성 평가를 위해.
• 실제 시장 통계와의 비교를 통해 시뮬레이션 성능을 벤치마킹하고 지속적인 격차를 규명하기 위해.
• 헤딩 및 장기적 의존성과 같은 복잡한 시장 행동을 더 잘 재현하기 위해 온라인 학습 에이전트 통합을 촉진하기 위해.

제안 방법

• 저자들은 실제 LOB 데이터에서 관측된 15가지 실증적 성질의 목록을 정리하였으며, 이에는 두꺼운 尾(heavy-tailed) 수익률, 변동성 집중, 일일 볼륨 패턴 등이 포함된다.
• 이 지표들을 실제 시장 데이터(JPM, 2019년 6월, 나스닥)와 두 가지 ABIDES 시뮬레이션 설정(순수한 0지능(Zero-Intelligent, ZI) 에이전트만 포함된 경우와 ZI 에이전트에 최소 전략적 에이전트를 추가한 경우)에 적용하였다.
• 분포 유사성 평가에는 콜모고로프-스미르노프 검정을 사용하였고, 시간적 의존성 분석에는 자기상관 분석을 활용하였다.
• 지표로는 로그 수익률 분포, 수익률 및 제곱 수익률의 자기상관, 볼륨-변동성 상관관계, 주문 간격, 일일 볼륨 프로파일 등이 포함되었다.
• 시뮬레이션 평가가 1분 및 10분 간격의 여러 시간 척도에서 수행되었으며, 커널 밀도 추정 및 곡선 피팅(예: 감마 및 위부일 분포)을 통해 통계적 성질을 분석하였다.
• 실제 데이터와의 통계적 비교를 강화하기 위해 리샘플링 기법을 사용하였다.

실험 결과

연구 질문

• RQ1 기존의 LOB 시뮬레이션은 얼마나 실제 금융 시장의 통계적 성질을 재현하는가?
• RQ2 중요한 성질 중에서, 예를 들어 두꺼운 꼬리, 변동성 집중, 일일 패턴 등 어떤 성질이 현재 시뮬레이션 프레임워크에서 가장 낮은 재현도를 보이는가?
• RQ3 에이전트 집단에 최소 전략적 행동을 통합함으로써 순수 ZI 에이전트 기반 시뮬레이션 대비 현실성은 어떻게 향상되는가?
• RQ4 학습 능력이 있는 에이전트는 헤딩 및 장기적 의존성과 같은 복잡한 시장 역학을 재현하는 데 어떤 역할을 하는가?
• RQ5 표준화된 지표 세트가 향후 LOB 시뮬레이션 환경의 평가 및 개선을 위한 기준이 될 수 있는가?

주요 결과

• 혼합형 에이전트 유형을 사용하는 rmsc01 설정은 순수 ZI 에이전트 기반의 sparse_zi_100 설정보다 실제 시장 통계를 더 잘 재현하며, 특히 수익률 분포의 형태와 제곱 수익률의 자기상관에서 뚜렷한 개선이 관찰된다.
• 두 시뮬레이션 모두 실제 시장 데이터에서 관찰되는 라그 1에서의 수익률 자기상관 0에 대한 피크를 재현하지 못한다. 이는 핵심적인 성질임에도 불구하고.
• rmsc01의 시뮬레이션 주문 간격은 0에 가까운 값에 집중되어 있어, 실제 시장의 간격을 기술하는 데 적합한 위부일 분포와의 피팅이 빈약하다.
• rmsc01의 일일 볼륨 패턴은 실제 데이터에서 관찰되는 전형적인 U자형 프로파일을 뒤집어, 시장 개장 및 종료 시 활동이 감소한 것으로 나타났다.
• 시뮬레이션에서의 볼륨-변동성 상관관계는 실제 시장보다 덜 비대칭적이고 변동성이 낮아, 시장 마이크로스트럭처 역학의 재현이 부족함을 시사한다.
• 연구는 두꺼운 꼬리와 집합 정규성의 일부 재현이 가능하다는 점을 확인하였으며, rmsc01 설정이 sparse_zi_100 설정보다 역사적 데이터에 더 가까이 있다.