[논문 리뷰] MASTER: Market-Guided Stock Transformer for Stock Price Forecasting

Tong Li, Zhaoyang Liu외 4명|arXiv (Cornell University)|2023. 12. 23.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

MASTER는 시장 지향적 게이팅 메커니즘을 통해 순간적이고 시간에 따라 변화하는 주식 간 상관관계를 번갈아가며 내주식 및 간주주식 어텐션을 통해 모델링하는 마켓 가이드드 스탁 트랜스포머를 제안한다. 중국 주식 데이터셋에서 순위 기반 지표 평균 13% 향상과 포트폴리오 기반 지표 47% 향상을 달성하여 기존 방법보다 현실적이고 시간에 따라 변화하는 주식 관계를 더 잘 포착함.

ABSTRACT

Stock price forecasting has remained an extremely challenging problem for many decades due to the high volatility of the stock market. Recent efforts have been devoted to modeling complex stock correlations toward joint stock price forecasting. Existing works share a common neural architecture that learns temporal patterns from individual stock series and then mixes up temporal representations to establish stock correlations. However, they only consider time-aligned stock correlations stemming from all the input stock features, which suffer from two limitations. First, stock correlations often occur momentarily and in a cross-time manner. Second, the feature effectiveness is dynamic with market variation, which affects both the stock sequential patterns and their correlations. To address the limitations, this paper introduces MASTER, a MArkert-Guided Stock TransformER, which models the momentary and cross-time stock correlation and leverages market information for automatic feature selection. MASTER elegantly tackles the complex stock correlation by alternatively engaging in intra-stock and inter-stock information aggregation. Experiments show the superiority of MASTER compared with previous works and visualize the captured realistic stock correlation to provide valuable insights.

연구 동기 및 목표

• 고정된 어텐션 필드와 정적 특징 가중치로 인해 순간적이고 시간에 따라 다른 주식 간 상관관계를 포착하지 못하는 기존 주가 예측 모델의 한계를 해결하기 위해.
• 시간이 맞지 않는 순간에서 발생하고 시장 조건에 따라 변화하는 다이나믹한 주식 상관관계를 모델링하기 위해, 정적 또는 시간에 맞춘 관계를 가정하지 않기 위해.
• 완전한 $τ \times |\mathcal{S}|$ 어텐션 필드를 피하면서도 상관관계 표현력을 유지하면서 데이터가 부족한 주식 예측에서 계산 부담을 줄이고 최적화를 향상시키기 위해.
• 시장 맥락을 활용한 자동 특징 선택을 통해 수동 특징 공학에 의존도를 줄이고 모델의 변화하는 시장 제도에 대한 적응력을 높이기 위해.
• 어텐션 시각화를 통해 비대칭적이고 시간 이동이 있는, 희박한 간주주식 관계를 더 현실적이고 세밀하게 드러내기 위해.

제안 방법

• 다섯 단계 아키텍처를 도입: 시장 지향적 게이팅, 내주식 집계, 간주주식 집계, 시간 집계, 예측. 이로써 동적 상관관계 모델링이 가능해짐.
• 시장 상태 임베딩을 활용해 적응적이고 어텐션 기반의 특징 선택을 수행하는 새로운 게이팅 메커니즘을 사용. 학습 가능한 온도 초수 $β$ 가 선택의 날카기 정도를 제어함.
• 각 주식의 시퀀스 내에서의 내주식 자기어텐션과 동일한 시간 단계에서 주식 간의 간주주식 교차어텐션을 번갈아 사용하여 순차적 패턴과 간주주식 의존성을 모두 모델링함.
• 완전한 $τ \times |\mathcal{S}|$ 어텐션을 피하기 위해 계층적이고 번갈아가는 방식으로 집계를 구성함으로써 계산 비용을 줄이고 순간적 및 시간에 따른 상관관계 모델링을 유지함.
• 내주식 및 간주주식 단계 모두에 다중 헤드 어텐션 메커니즘과 스케일드 닷프로덕트 어텐션을 사용. 안정성을 위해 잔차 연결 및 레이어 정규화를 적용함.
• 간주주식 어텐션에 대해 학습 가능한 쿼리 프로젝션을 사용. 쿼리는 현재 시간 단계의 표현에서 유도되며, 시간과 주식 간에 동적 상관관계 탐색이 가능하게 함.

Figure 1: The framework of existing works. The dashed lines represent the underlying momentary and cross-time stock correlations, which reside between some ( $stock_{1},time_{1}$ ) , ( $stock_{2},time_{2}$ ) pairs.

실험 결과

연구 질문

• RQ1 어떻게 주가 예측 모델이 시간에 맞지 않는 순간적이고 시간에 따라 다른 주식 간 상관관계를 더 잘 포착할 수 있는가?
• RQ2 트랜스포머 기반 아키텍처가 정적 또는 시간에 맞춘 상관관계 그래프보다 동적 주식 상관관계를 더 효과적으로 모델링할 수 있는가?
• RQ3 시장 맥락은 다양한 주식 특징의 효과성에 어떤 영향을 미치며, 이를 자동으로 모델링할 수 있는가?
• RQ4 데이터가 부족한 주식 예측에서, 계층적이고 번갈아가는 어텐션 메커니즘이 전체 어텐션 또는 클러스터링 기반 근사보다 우월한가?
• RQ5 어텐션 시각화를 통해 기존 방법이 놓친 현실적이고 비대칭적이며 시간 이동된 주식 상관관계를 드러낼 수 있는가?

주요 결과

• MASTER는 중국 주식 데이터셋에서 여러 벤치마크에서 최신 기술 대비 순위 기반 지표(예: 스피어만의 rho) 평균 13% 향상.
• 포트폴리오 기반 지표에서 MASTER는 베이스라인 대비 성능을 47% 향상시켜 실제 투자 상황에서 강력한 실용적 가치를 입증함.
• 절단 실험 결과, 내주식 및 간주주식 집계의 번갈아가기 메커니즘이 데이터가 제한된 상황에서도 단순 어텐션과 클러스터링 기반 근사보다 일관되게 뛰어난 성능을 보임.
• 어텐션 맵의 시각화 결과 상관관계가 순간적이고 희박하며 비대칭적임을 확인. 특히 대각선 중심이 아닌 시간 이동된 상관관계와 시간 이동 반응의 강력한 증거 존재.
• 게이팅 메커니즘의 최적 온도 $β$ 는 CSI800과 같이 더 복잡한 데이터셋에서 더 작아지며, 변동성이 큰 시장에서는 더 강한 특징 선택이 필요함을 시사함.
• 모델의 어텐션 맵은 상관관계가 시간에 따라 천천히 변화하며, 동일한 절대 시간 창에 맞춰진 서로 다른 예측 일자에서도 유사한 상관관계 패tern이 유지됨을 드러냄.

Figure 2: Overview of the MASTER framework.