[논문 리뷰] Transformers for Limit Order Books

James Wallbridge|arXiv (Cornell University)|2020. 02. 29.

Stock Market Forecasting Methods참고 문헌 40인용 수 6

한 줄 요약

이 논문은 확장된 인과적 컨volution 레이어와 마스크된 멀티헤드 자기주도 어텐션을 조합한 새로운 딥러닝 아키텍처인 TransLOB을 제안한다. 이는 한정된 오더북(LOB) 데이터로부터 가격 움직임을 예측하기 위해 개발되었다. 국소적 특징 추출과 상관관계 모델링을 유지하면서도 인과적 순서를 보존함으로써, FI-2010 LOB 벤치마크에서 기존 모델인 LSTM, CNN-LSTM, DeepLOB보다 최신 기술 수준(SOTA)을 달성하였으며, 특히 더 긴 예측 수준에서 뛰어난 성능을 보였다 (예: k=20에서 88.12% 정확도).

ABSTRACT

We introduce a new deep learning architecture for predicting price movements from limit order books. This architecture uses a causal convolutional network for feature extraction in combination with masked self-attention to update features based on relevant contextual information. This architecture is shown to significantly outperform existing architectures such as those using convolutional networks (CNN) and Long-Short Term Memory (LSTM) establishing a new state-of-the-art benchmark for the FI-2010 dataset.

연구 동기 및 목표

• 손으로 만든 특징이나 시장 가정에 의존하지 않고, 원시적인 한정된 오더북 데이터에서 관련 특징을 직접 학습하는 딥러닝 모델을 개발하는 것.
• 기존의 CNN 및 LSTM 아키텍처를 초월하여, 시간 시리즈 형태의 LOB 데이터에서 국소적 시간적 특징 추출과 장거리 상관관계를 동시에 처리하는 것.
• 인과성과 어텐션에 강한 인덕티브 바이어스를 가진 모델을 사용하여 FI-2010 데이터셋에서 가격 움직임 예측의 새로운 최신 기술 수준 기준을 설정하는 것.
• 어텐션 분포를 분석함으로써 모델의 해석 가능성을 향상시켜, 예측에 가장 관련성이 있다고 판단하는 이전의 이벤트를 파악하는 데 기여하는 것.

제안 방법

• 모델은 확장된 인과적 컨볼루션 레이어를 사용하여 원시 LOB 데이터에서 국소적 시간적 특징을 추출하며, 증가하는 확장 비율을 통해 수신 영역을 확장한다.
• 추출된 특징은 여러 개의 마스크된 멀티헤드 자기주도 어텐션 블록을 거쳐 처리되며, 각 쿼리는 과거의 키들만 참조하므로 인과적 구조를 유지한다.
• 각 트랜스포머 블록 내부에서 잔차 연결과 레이어 정규화를 통합하여 학습 안정성과 기울기 흐름 향상을 도모한다.
• 상대적인 시간적 위치를 인코딩하기 위해 위치 임베딩을 사용하여 어텐션 메커니즘이 시간 거리 간의 차이를 구분할 수 있도록 한다.
• 이중 분류 문제인 가격 움직임 방향 예측을 위해 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 인과적 마스크 메커니즘이 어텐션 계산 중에 미래 정보가 사용되지 않도록 보장하여 시간적 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 확장된 인과적 컨볼루션과 마스크된 자기주도 어텐션을 조합한 하이브리드 아키텍처가 기존의 LSTM 및 CNN 모델보다 LOB 데이터로부터의 가격 움직임 예측 성능에서 뛰어나게 되는가?
• RQ2 자기주도 어텐션 메커니즘이 시간적 인과성을 지키면서도 고차원적이고 노이즈가 많은 LOB 시계열 데이터에서 장거리 의존성을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 모델의 어텐션 메커니즘이 LOB 데이터에서 의미 있는 시간 패턴을 얼마나 잘 강조하는가? 이는 RNN 기반 모델 대비 모델의 해석 가능성 향상에 기여하는가?
• RQ4 제안된 아키텍처는 이전 최신 기술 수준 모델 대비 더 높은 샘플 효율성과 일반화 능력을 보이는가?
• RQ5 FI-2010 데이터셋에서 다양한 예측 수준(k=10, 20, 50, 100)에서 성능가 어떻게 변화하는가?

주요 결과

• TransLOB는 예측 수준 k=10에서 78.78%의 정확도를 기록하였으며, 이는 이전 SOTA 모델인 C(TABL)의 73.74%와 DeepLOB의 74.85%를 뛰어넘는 성과이다.
• k=20에서 TransLOB는 88.12%의 정확도를 달성하여, DeepLOB의 80.51%와 C(TABL)의 79.87%를 초월하며 장기 예측 수준에서 뛰어난 성능을 보였다.
• k=50에서 TransLOB는 91.62%의 정확도를 기록하여 장기간 예측 윈도우에 대한 강건성과 뛰어난 장거리 모델링 능력을 입증하였다.
• k=100에서 TransLOB는 91.61%의 F1 스코어를 유지하여, 점점 더 먼 예측 타겟으로 갈수록 안정성과 확장 가능성을 확인하였다.
• 어텐션 시각화 결과, 여러 헤드가 최근의 LOB 이벤트에 집중하는 것으로 나타났으며, 특히 두 번째와 세 번째 헤드에서 이러한 경향이 두드러졌다. 이는 가격 예측에 대해 직관적인 기대와 일치한다.
• 모델는 높은 샘플 효율성을 보이며, FI-2010 데이터셋의 제한된 크기에도 불구하고 잘 일반화됨을 시사하며, 향후 튜닝을 통해 더 큰 데이터셋으로의 확장 가능성도 매우 높아 보인다.