[논문 리뷰] Assessing Look-Ahead Bias in Stock Return Predictions Generated By GPT Sentiment Analysis

Paul Glasserman, Caden Lin|arXiv (Cornell University)|2023. 09. 29.

Stock Market Forecasting Methods인용 수 11

한 줄 요약

본 논문은 금융 헤드라인의 GPT 기반 감성 트레이딩 신호에서 미래 정보 편향(look-ahead bias)과 산만 효과를 밝히고, 기업 이름의 익명화가 샘플 내 편향을 줄이며 특히 대형 기업에서 샘플 외 성과를 개선할 수 있음을 시사한다.

ABSTRACT

Large language models (LLMs), including ChatGPT, can extract profitable trading signals from the sentiment in news text. However, backtesting such strategies poses a challenge because LLMs are trained on many years of data, and backtesting produces biased results if the training and backtesting periods overlap. This bias can take two forms: a look-ahead bias, in which the LLM may have specific knowledge of the stock returns that followed a news article, and a distraction effect, in which general knowledge of the companies named interferes with the measurement of a text's sentiment. We investigate these sources of bias through trading strategies driven by the sentiment of financial news headlines. We compare trading performance based on the original headlines with de-biased strategies in which we remove the relevant company's identifiers from the text. In-sample (within the LLM training window), we find, surprisingly, that the anonymized headlines outperform, indicating that the distraction effect has a greater impact than look-ahead bias. This tendency is particularly strong for larger companies--companies about which we expect an LLM to have greater general knowledge. Out-of-sample, look-ahead bias is not a concern but distraction remains possible. Our proposed anonymization procedure is therefore potentially useful in out-of-sample implementation, as well as for de-biased backtesting.

연구 동기 및 목표

• 금융 뉴스 감정을 이용한 LLM 기반 트레이딩에서의 미래 정보 편향 문제를 제고한다.
• 헤드라인에서 의도된 엔티티 식별자를 제거하는 익명화 방법을 개발한다.
• 원본 헤드라인과 익명화된 헤드라인의 샘플 내/샘플 외 트레이딩 성과를 비교한다.
• 기업 규모가 GPT 기반 점수의 편향 및 예측력에 미치는 영향을 평가한다.
• 향후 LLM 백테스팅을 위한 실용적인 편향 제거 가이드를 제공한다.

제안 방법

• 고정 프롬프트를 사용하여 헤드라인을 주가에 대해 좋음/중립/나쁨으로 분류하기 위해 GPT-3.5-Turbo를 사용한다.
• GPT 점수로 일일 트레이딩 시그널을 계산하고 롱-전용, 숏-전용, 롱-숏 전략을 평가한다.
• 유연 매칭과 지식 그래프 확장을 사용하여 기업 식별자 및 관련 상품/서비스를 대체하여 헤드라인을 익명화한다.
• 스크랩된 데이터와 Thomson Reuters 헤드라인 세트 간의 샘플 내/샘플 외 성과를 비교한다.
• 평균 수익, t-검정, 오차 분포를 분석하여 미래 정보 편향과 산만 효과를 진단한다.

(a)

실험 결과

연구 질문

• RQ1 기업 식별자를 익명화하면 GPT 기반 감성 트레이딩의 미래 정보 편향이 감소하는가?
• RQ2 기업에 대한 일반 지식으로부터의 산만함이 샘플 내 백테스트에서 미래 정보 편향보다 더 큰 영향을 미치는가?
• RQ3 기업 규모가 GPT 구동 트레이딩 신호의 편향 및 성과에 어떤 영향을 미치는가?
• RQ4 편향 제거(익명화) 신호가 샘플 외 성능을 향상시키는가?
• RQ5 원래 프롬프트와 익명화된 프롬프트 하에서 GPT 감성 점수의 예측력은 어떠한가?

주요 결과

• 샘플 내에서 바뀐 헤드라인은 원본 헤드라인보다 평균 수익이 더 높았으며, 스크랩 데이터에서 (mean 30.97 vs. 25.08; 차이 5.89 bp/day; p=0.017) 이고 Thomson Reuters 데이터에서 (mean 13.84 vs. 10.74; 차이 4.37 bp/day; p=0.017)이다.
• 샘플 외에서 스크랩 데이터는 원본 대비 익명화된 헤드라인의 평균이 더 높았지만(16.32 vs. 11.09 bp/day; 전통적 수준에서統계적으로 유의하지 않음), Thomson Reuters 데이터는 12.23 vs. 6.07 bp/day(p≈0.064)였다.
• 충격적인 샘플 내 결과는 산만 효과가 미래 정보 편향보다 더 크며, 특히 대형 기업에서 익명화의 효과가 더 크다는 것을 시사한다.
• 분류 분석은 대체된 응답이 중립일 때 원래 응답이 더 잘못되는 경향이 있어 원래 프롬프트 하에서 샘플 내 손실이 더 커진다는 것을 시사한다.
• 샘플 외 결과는 미래 정보 편향이 지배적 우려가 아님을 시사하지만 여전히 산만함이 가능하며 대형주에서 익명화 하에서 성과가 개선되었다는 일부 증거가 있다.
• 익명화 접근법은 백테스트의 편향 제거를 위한 실용적 도구이자 샘플 외 성능 향상을 가능하게 하는 방법으로 제안된다.

(b)