[논문 리뷰] Using Reinforcement Learning to Validate Empirical Game-Theoretic Analysis: A Continuous Double Auction Study

Mason Wright|arXiv (Cornell University)|2016. 04. 22.

Reinforcement Learning in Robotics참고 문헌 22인용 수 3

한 줄 요약

이 논문은 연속 이중 경매 시장에서 경제적 게임 이론적 분석(EGTA)을 통해 도출된 균형 전략 프로파일의 전략적 안정성을 강화 학습(RL)을 활용해 검증한다. EGTA에서 유도된 균형 전략에 대해 Q-학습, Sarsa, POMCP와 같은 다양한 RL 알고리즘을 훈련시켜, 수익 향상의 명백한 증거가 없음을 입증함으로써, EGTA 전략이 심지어 더 넓은 전략 공간에서 테스트된 경우에도 근본적인 회피를 거의 가지지 않는다는 강력한 경험적 증거를 제공한다.

ABSTRACT

Empirical game-theoretic analysis (EGTA) has recently been applied successfully to analyze the behavior of large numbers of competing traders in a continuous double auction market. Multiagent simulation methods like EGTA are useful for studying complex strategic environments like a stock market, where it is not feasible to solve analytically for the rational behavior of each agent. A weakness of simulation-based methods in strategic settings, however, is that it is typically impossible to prove that the strategy profile assigned to the simulated agents is stable, as in a Nash equilibrium. I propose using reinforcement learning to analyze the regret of supposed Nash-equilibrium strategy profiles found by EGTA. I have developed a new library of reinforcement learning tools, which I have integrated into an extended version of the market simulator from our prior work. I provide evidence for the effectiveness of our library methods, both on a suite of benchmark problems from the literature, and on non-equilibrium strategy profiles in our market environment. Finally, I use our new reinforcement learning tools to provide evidence that the equilibria found by EGTA in our recent continuous double auction study are likely to have only negligible regret, even with respect to an extended strategy space.

연구 동기 및 목표

• 전략 공간 샘플링의 제한으로 인해 EGTA가 진정으로 안정적인 내쉬 균형 전략 프로파일인지 검증하는 데에 한계가 있음.
• EGTA에서 유도된 전략 프로파일에서 유익한 이탈을 탐지할 수 있는 강화 학습(RL) 알고리즘의 개발 및 검증.
• EGTA가 연속 이중 경매 환경에서 식별한 균형 전략이 더 넓은 정책 공간에서 테스트된 경우에도 견고함을 보임을 경험적으로 입증.
• RL 방법의 효과성을 평가하여 비균형 행동을 탐지하고, 다양한 알고리즘적 접근을 통해 균형 전략 프로파일의 안정성을 확인함.

제안 방법

• Q-학습, Sarsa(λ), POMCP를 포함한 RL 도구 라이브러리를 구현하였으며, 타일 코딩, 경험 재생, 유효성 추적과 같은 개선 기법을 적용해 학습의 안정성과 속도를 향상시켰다.
• 기존 시장 시뮬레이터를 확장하여 RL 라이브러리를 통합함으로써, 실질적인 연속 이중 경매 환경에서 EGTA 전략 프로파일을 테스트할 수 있도록 하였다.
• 비균형 전략 프로파일(RL의 유효성 검증용)과 EGTA 균형 전략 프로파일(안정성 테스트용)에 대해 RL 에이전트의 성능을 비교하는 실험을 수행하였다.
• 에이전트가 구매 또는 매도 행동을 선택할 수 있도록 허용하여, 고정된 EGTA 정책보다 우월한 성과를 낼 수 있는지 시뮬레이션함으로써 전략적 유연성을 테스트하였다.
• 표본 기반과 몬테카를로 트리 탐색을 활용한 다양한 메커니즘을 가진 여러 RL 알고리즘을 사용하여 결과의 신뢰도를 높이고, 특정 방법에 의한 편향을 줄였다.
• 기본 문제(예: RockSample, Sutton의 격자 세계)에서 RL 구현을 평가하여, 실제 시장 시뮬레이션에 적용하기 전에 정확성을 확보하였다.

실험 결과

연구 질문

• RQ1 연속 이중 경매 환경에서 강화 학습은 비균형 전략 프로파일에서 유익한 이탈을 탐지할 수 있는가?
• RQ2 EGTA가 식별한 균형 전략 프로파일과 대응할 때 강화 학습이 더 나은 전략을 찾지 못한다면, 이는 낮은 회피를 의미하는가?
• RQ3 EGTA 균형 안정성 테스트에서 Q-학습과 POMCP와 같은 다양한 RL 알고리즘 간의 성능 및 계산 효율성은 어떻게 비교되는가?
• RQ4 RL 에이전트가 매수 또는 매도 행동을 선택할 수 있도록 허용할 경우, 고정된 EGTA 정책보다 높은 수익을 올릴 수 있는가? 이는 안정성 부족을 시사하는가?
• RQ5 실제로 전체 전략 공간이 탐색되지 않은 상황에서 경험적 RL 결과가 EGTA 전략이 전략적으로 안정적임을 얼마나 잘 뒷받침하는가?

주요 결과

• 모든 RL 방법—Q-학습, Sarsa(λ), POMCP—모두 테스트된 모든 환경에서 EGTA 균형 전략 프로파일의 수익 수준에 도달하거나 그에 근접한 성능 정점에 도달하였으며, 이는 추가적인 향상이 없음을 시사한다.
• FlipKnown 설정에서 POMCP는 어떤 환경에서도 EGTA 균형을 초월하지 못하였으며, 95% 신뢰구간이 균형 수익과 겹쳤고, 한 경우(B-1k-eq)에서는 POMCP가 유의미하게 열등한 성능을 보였다.
• 매수 또는 매도 행동 선택이 가능한 RL 에이전트는 고정된 EGTA 정책보다 항상 높은 평균 수익을 달성하여, EGTA 전략이 쉽게 약점이 되지 않는다는 것을 시사한다.
• RL 방법들은 비균형 전략 프로파일을 성공적으로 향상시켜, 전략적 약점을 탐지하고 악용할 수 있음을 확인하였다.
• POMCP는 높은 계산 비용으로 인해 고전적 RL 방법보다 유의미하게 효율성이 떨어졌으며, 특히 더 높은 플레이아웃 수준에서 넓은 신뢰구간과 제한된 표본 수를 보였다.
• 기본 문제에서 검증된 다양한 RL 알고리즘의 조합이 비균형 행동을 탐지하는 데 성공함으로써, EGTA 전략 프로파일의 전략적 안정성에 대한 강력한 경험적 근거를 제공한다.