[논문 리뷰] Inferring agent objectives at different scales of a complex adaptive system

Dieter Hendricks, Adam D. Cobb외 3명|arXiv (Cornell University)|2017. 12. 04.

Complex Systems and Decision Making인용 수 4

한 줄 요약

이 논문은 집합적 시장 거동에서 시간 규모별 보상 함수를 추정함으로써 금융 시장 마이크로구조에서 에이전트의 목적을 추론하기 위해 다중 척도 역강화학습 프레임워크를 제안한다. 시간적으로 집계된 상태-행동 궤적에 최대 엔트로피 IRL을 적용한 결과, 특징 벡터가 시간 규모 간 상대적인 매력도가 다름을 확인하였으며, 이는 고주기 및 장기 수평에서 별개의 에이전트 목적을 시사함으로써 시장 역학에 계층적 구조가 존재함을 시사한다.

ABSTRACT

We introduce a framework to study the effective objectives at different time scales of financial market microstructure. The financial market can be regarded as a complex adaptive system, where purposeful agents collectively and simultaneously create and perceive their environment as they interact with it. It has been suggested that multiple agent classes operate in this system, with a non-trivial hierarchy of top-down and bottom-up causation classes with different effective models governing each level. We conjecture that agent classes may in fact operate at different time scales and thus act differently in response to the same perceived market state. Given scale-specific temporal state trajectories and action sequences estimated from aggregate market behaviour, we use Inverse Reinforcement Learning to compute the effective reward function for the aggregate agent class at each scale, allowing us to assess the relative attractiveness of feature vectors across different scales. Differences in reward functions for feature vectors may indicate different objectives of market participants, which could assist in finding the scale boundary for agent classes. This has implications for learning algorithms operating in this domain.

연구 동기 및 목표

• 금융 시장의 다양한 에이전트 클래스가 서로 다른 시간 척도에서 작동하며 잠재적으로 다른 목적을 가질 수 있는지 이해하기 위해.
• 집합적 시장 데이터로부터 다중 시간 척도에서 효과적인 보상 함수를 추론하는 방법을 개발하기 위해.
• 다양한 척도 간 보상 함수의 차이가 별개의 에이전트 목적 또는 전략적 행동을 시사하는지 조사하기 위해.
• 스케일별 상태 표현 및 목적을 식별함으로써 다중 척도 학습 알고리즘 설계를 지원하기 위해.
• 고주기 트레이더, 마켓 메이커, 장기 투자자 등의 에이전트 클래스 간 시간 척도 경계가 존재하는지 탐색하기 위해.

제안 방법

• 다양한 시간 척도에서 관측된 상태-행동 궤적에서 보상 함수를 추정하기 위해 최대 엔트로피 역강화학습(MaxEnt IRL)를 적용한다.
• 5분, 15분, 30분, 60분 간격으로 분할된 집합적 시장 데이터에서 유도된 시간적 상태 궤적과 행동 시퀀스를 사용한다.
• 선형 보상 함수 r = θ⊤fζ를 활용하며, 여기서 fζ는 궤적을 따라 계산된 특징 수를 나타내고, θ는 경험적 특징 기대값을 일치시키기 위해 최적화된다.
• MDP 전이 모델 T를 통해 역방향 및 정방향 전파를 수행하여 상태 방문 빈도 Dsi를 계산함으로써 기울기를 추정한다.
• 특징 벡터 유사도 기반으로 상태를 정규화하고 군집화(K-means, k=6)하여 동일한 특징 패tern에 대해 서로 다른 척도 간 상대 보상 비교를 수행한다.
• 클러스터 기반 플롯에서 노드 크기(시간 척도)와 색상(보상 크기)을 사용하여 다양한 척도 간 정규화된 보상의 시각화 및 비교를 수행한다.

실험 결과

연구 질문

• RQ1 효과적 보상 함수의 변동을 통해 금융 시장의 에이전트 목적들이 시간 척도에 따라 다름을 확인할 수 있는가?
• RQ2 역강화학습을 통해 집합적 시장 거동에서 시간 척도별 보상 함수를 신뢰성 있게 추론할 수 있는가?
• RQ3 특정 특징 벡터가 특정 시간 척도에서 더 매력적인가? 이는 에이전트 클래스 간 전략적 행동의 차이를 시사하는가?
• RQ4 시장 인과관계에 계층적 구조가 존재하는가? 즉, 서로 다른 시간 척도에서 다른 모델이 지배하는가?
• RQ5 거래량 불균형과 스프레드 특징이 시간 수평에 따라 상태의 매력도에 어떻게 다르게 영향을 미치는가?

주요 결과

• 유사한 값의 특징 벡터가 시간 척도 간 상대적 보상에서 다름을 보이며, 이는 동일한 시장 상태가 관찰자의 시간 수평에 따라 더 매력적이거나 덜 매력적일 수 있음을 시사한다.
• 클러스터 3는 5분 척도에서는 유리한 음수 스프레드와 큰 음수 거래량 불균형을 보이지만, 60분 척도에서는 불리한 것으로 나타나 시간 척도에 따라 전략적 반응이 다름을 시사한다.
• 클러스터 5는 양수 거래량 불균형과 음수 스프레드를 가지며, 5분 척도에서는 긍정적 보상(단기 매도 유리)을, 장기 척도에서는 부정적 보상을 기록하여 가격 압력 효과가 존재할 수 있음을 시사한다.
• 클러스터 6은 음수 거래량 불균형과 양수 스프레드를 가지며, 모든 척도에서 일관되게 긍정적 보상을 기록하여 저가 매수 조건과 가격 상승 압력이 동시에 유리한 상황임을 시사한다.
• 동일한 특징 벡터에 대한 상대적 보상이 척도 간에 크게 다름을 보이며, 이는 고주기 트레이딩과 장기 투자와 같은 에이전트 목적들이 일관되지 않고 척도 의존적일 수 있음을 시사한다.
• 이 프레임워크는 시장 역학에 다중 척도적 구조가 존재함을 경험적으로 입증하며, 서로 다른 시간 해상도에서 작동하는 별개의 에이전트 클래스 존재를 뒷받침한다.