[논문 리뷰] Multi-Agent Deep Reinforcement Learning for Liquidation Strategy Analysis

Wenhang Bao, Xiaoyang Liu|arXiv (Cornell University)|2019. 06. 24.

Financial Markets and Investment Strategies인용 수 27

한 줄 요약

이 논문은 동적인 시장에서 거래자 간의 상호작용을 모델링하여 주식 청산 전략을 최적화하기 위해 다중 에이전트 딥 강화학습 프레임워크를 제안한다. Almgren-Chriss 모델을 다중 에이전트 환경으로 확장하여, 경쟁적 행동이 개인 및 집단적 성능을 악화시키며, 협력 전략이 독립적 거래를 능가하지 못함을 입증함으로써 현실적인 청산 분석을 위한 다중 에이전트 RL의 필요성을 강조한다.

ABSTRACT

Liquidation is the process of selling a large number of shares of one stock sequentially within a given time frame, taking into consideration the costs arising from market impact and a trader's risk aversion. The main challenge in optimizing liquidation is to find an appropriate modeling system that can incorporate the complexities of the stock market and generate practical trading strategies. In this paper, we propose to use multi-agent deep reinforcement learning model, which better captures high-level complexities comparing to various machine learning methods, such that agents can learn how to make the best selling decisions. First, we theoretically analyze the Almgren and Chriss model and extend its fundamental mechanism so it can be used as the multi-agent trading environment. Our work builds the foundation for future multi-agent environment trading analysis. Secondly, we analyze the cooperative and competitive behaviours between agents by adjusting the reward functions for each agent, which overcomes the limitation of single-agent reinforcement learning algorithms. Finally, we simulate trading and develop an optimal trading strategy with practical constraints by using a reinforcement learning method, which shows the capabilities of reinforcement learning methods in solving realistic liquidation problems.

연구 동기 및 목표

• 대규모 주식 청산 과정에서 동적인 상호작용적 시장 행동을 포착하지 못하는 단일 에이전트 강화학습의 한계를 해결하기 위해.
• 실제 시장의 복잡성을 더 잘 반영하기 위해 Almgren-Chriss 최적 청산 모델을 다중 에이전트 환경으로 확장하기 위해.
• 에이전트 간의 협력적 및 경쟁적 관계가 전체 및 개별 청산 성능에 미치는 영향을 분석하기 위해.
• 시뮬레이션된 다중 에이전트 거래 환경에서 딥 강화학습을 활용해 실용적이고 적응형 청산 전략을 개발하기 위해.
• 다중 에이전트 RL이 현실적인 시장 상호작용과 비용 구조를 모델링하는 데 단일 에이전트 접근법보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• Almgren-Chriss 모델을 다중 에이전트 설정으로 확장하여, 재고, 가격 영향, 시장 영향을 포함한 상태 역학을 정의함으로써 청산 문제를 수식화함.
• 연속적인 행동 공간을 위한 다중 에이전트 프레임워크에서 딥 디터민리스틱 정책 그래디언트(DDPG)를 기반 강화학습 알고리즘으로 사용함.
• 협력적 및 경쟁적 에이전트 행동을 모델링하기 위해 보상 함수를 설계하여 전략적 상호작용 분석을 가능하게 함.
• 가격 영향이 존재하는 동적인 시장에서 시행착오를 통해 최적의 청산 궤적을 학습하는 시뮬레이션된 다중 에이전트 환경을 구현함.
• 환경의 동적 상태를 나타내기 위해 재고, 시간, 시장 영향 매개변수를 포함한 상태 벡터를 사용함.
• 학습 안정화를 위해 경험 재생과 타겟 네트워크를 사용하며, 액터-크리틱 아키텍처에서 별도의 정책 및 가치 네트워크를 구현함.

실험 결과

연구 질문

• RQ1 공동 목표를 가진 다수의 에이전트가 도입될 경우, 단일 에이전트 설정과 비교해 청산의 효율성과 비용에 어떤 영향을 미치는가?
• RQ2 다중 에이전트 청산 환경에서 에이전트 간의 협력적 행동과 경쟁적 행동이 성능에 미치는 영향는 어떠한가?
• RQ3 다중 에이전트 딥 강화학습은 다른 거래자 존재에 대응해 적응하는 최적의 청산 전략을 학습할 수 있는가?
• RQ4 보상 함수 설계가 시뮬레이션된 청산 환경에서 에이전트 행동과 전체 시스템 성능에 어떤 영향을 미치는가?
• RQ5 다중 에이전트 RL이 현실적인 시장 역학을 포착하는 데 있어 전통적 단일 에이전트 RL 및 Almgren-Chriss와 같은 분석 모델보다 어느 정도 뛰어나게 작용하는가?

주요 결과

• 에이전트 간의 경쟁적 행동은 기대손실의 합계를 크게 증가시켜 독립적 또는 협력적 설정 대비 20퍼센트 이상 높게 나타나, 모든 에이전트의 성능 저하를 암시한다.
• 경쟁 상황에서 한 에이전트는 첫 번째 날에 모든 주식을 청산하여 다른 에이전트가 가격 영향 비용의 대부분을 떠넘기게 하며, 이는 개인 및 집단적 실행 비용 증가로 이어진다.
• 경쟁자 존재 시 최적의 청산 궤적이 크게 변화한다: 독립적 훈련에서 일반적으로 20일 동안 청산하는 에이전트가 경쟁자가 존재함으로써 가격 영향을 피하기 위해 첫 두 날 안에 모든 주식을 매도하게 된다.
• 협력 전략은 독립적 훈련을 능가하지 못하며, 이 다중 에이전트 설정에서는 상호 협력이 더 나은 결과를 산출하지 못함을 시사한다.
• 다중 에이전트 환경은 거래자 간의 전략적 의존성을 성공적으로 반영하였으며, 경쟁이 모든 당사자에게 비최적의 결과를 초래함을 드러냈다.
• 간단한 설정임에도 불구하고 강화학습 에이전트는 경쟁자 행동에 동적으로 대응하는 청산 전략을 달성하여, 이 프레임워크가 복잡한 시장 상호작용을 모델링할 수 있는 능력을 보여주었다.