[논문 리뷰] Market making and incentives design in the presence of a dark pool: a deep reinforcement learning approach

Bastien Baldacci, Iuliia Manziuk외 2명|arXiv (Cornell University)|2019. 12. 02.

Stochastic processes and financial applications참고 문헌 15인용 수 8

한 줄 요약

이 논문은 라이트 풀과 다크 풀이 모두 존재하는 거래소에서 최적의 마켓 메이킹 및 인cent라이브 설계를 최적화하기 위한 딥 강화학습 프레임워크를 제안한다. 마켓 메이커의 최적 주문 배치를 모델링하고, 확률적 제어 및 점성 해법을 사용하여 최적의 메이크테이크 수수료 구조를 유도하며, 다크 풀 접근이 재고 리스크를 감소시키고 지연을 고려한 실행을 통해 더 나은 리스크 완화를 가능하게 함을 보여준다.

ABSTRACT

We consider the issue of a market maker acting at the same time in the lit and dark pools of an exchange. The exchange wishes to establish a suitable make-take fees policy to attract transactions on its venues. We first solve the stochastic control problem of the market maker without the intervention of the exchange. Then we derive the equations defining the optimal contract to be set between the market maker and the exchange. This contract depends on the trading flows generated by the market maker's activity on the two venues. In both cases, we show existence and uniqueness, in the viscosity sense, of the solutions of the Hamilton-Jacobi-Bellman equations associated to the market maker and exchange's problems. We finally design deep reinforcement learning algorithms enabling us to approximate efficiently the optimal controls of the market maker and the optimal incentives to be provided by the exchange.

연구 동기 및 목표

• 라이트 풀과 다크 풀에서 동시에 거래하는 유동성 공급자에 대한 최적의 마켓 메이킹 전략을 모델링하기.
• 거래소와 마켓 메이커 간의 최적의 인센티브 계약을 원칙-에이gent 프레임워크를 사용하여 설계하기.
• 양 측면 모두에서 비대칭 정보, 지연 효과, 거래 수수료를 고려하기.
• 악성 선택과 재고 리스크를 최소화하면서 마켓 메이커를 유치하는 최적의 메이크테이크 수수료 구조 도출하기.
• 이론적 모델을 딥 강화학습 알고리즘을 사용하여 정책 근사화하기 위해 검증하기.

제안 방법

• 재고, 가격, 주문 유입량을 상태 변수로 포함하는 마켓 메이커 문제를 확률적 제어 문제로 공식화하기.
• 마켓 메이커의 가치 함수에 대한 허밀토니안-자비-벨만(HJB) 방정식 유도 및 점성 해석에서 존재성과 유일성 증명하기.
• 거래 흐름을 기반으로 거래소와 마켓 메이커 간의 최적 계약을 설계하기 위해 원칙-에이gent 모델 도입하기.
• 액터-크리틱 알고리즘을 사용한 딥 강화학습을 통해 마켓 메이커 및 거래소의 최적 제어 정책 근사화하기.
• 반타래 스프레드, 다크 풀 가격이 중간가격 기준으로 설정되며, 지연 효과 및 거래 수수료를 포함한 현실적인 마켓 특성 반영하기.
• HJB 방정식 분석의 수학적 엄밀성을 확보하기 위해 점성 해법 이론 활용하기.

실험 결과

연구 질문

• RQ1 비대칭 정보와 지연 조건 하에서 마켓 메이커는 라이트 풀과 다크 풀 간에 유동성을 어떻게 최적 배분해야 하는가?
• RQ2 거래소는 마켓 메이커가 양 측면에서 유동성을 공급하도록 유인하기 위해 어떤 최적의 메이크테이크 수수료 구조를 제공해야 하는가?
• RQ3 다크 풀의 존재가 최적 거래 전략 하에서 마켓 메이커의 재고 리스크와 수익에 어떤 영향을 미치는가?
• RQ4 딥 강화학습 알고리즘이 이 복잡한 다중 거래소 환경에서 HJB 방정식으로 유도된 최적 제어 정책을 효과적으로 근사화할 수 있는가?
• RQ5 라이트 풀과 다크 풀 간의 가격 격차와 지연 효과가 최적 실행 및 리스크 관리에 어떤 영향을 미치는가?

주요 결과

• 최적의 마켓 메이킹 전략은 라이트 풀과 다크 풀 간의 동적 배분을 포함하며, 다크 풀은 재고 리스크를 헤지하고 시장 영향을 줄이기 위해 활용된다.
• 다크 풀의 존재는 큰 규모의 거래를 즉각적인 가격 영향이 적은 방식으로 실행함으로써 마켓 메이커가 재고 리스크를 줄일 수 있도록 한다.
• 거래소와 마켓 메이커 간의 최적 계약은 양 측면에서 발생하는 거래 흐름에 따라 달라지며, 수수료는 인cent라이브를 일치시키기 위해 조정된다.
• 마켓 메이커 및 거래소의 HJB 방정식은 고유한 점성 해를 가지며, 이는 최적 정책의 이론적 일관성을 보장한다.
• 딥 강화학습 알고리즘이 성공적으로 최적 제어를 근사화하여 고차원적이고 연속적인 상태 공간에서 정책 학습의 가능성을 입증한다.
• 다크 풀에서의 지연 효과는 시간에 따라 변하는 가격 격차를 만들어내며, 이는 최적 실행 타이밍과 볼륨 배분에 영향을 미친다.