[論文レビュー] Assessing Look-Ahead Bias in Stock Return Predictions Generated By GPT Sentiment Analysis

Paul Glasserman, Caden Lin|arXiv (Cornell University)|Sep 29, 2023

Stock Market Forecasting Methods被引用数 11

ひとこと要約

この論文は、GPTベースの感情取引シグナルにおける先読みバイアスと気晴らし（distraction）効果を金融ニュースの見出しから明らかにし、企業名の匿名化がインサンプルのバイアスを低減し、特に大企業でアウトオブサンプルのパフォーマンスを改善する可能性があることを示している。

ABSTRACT

Large language models (LLMs), including ChatGPT, can extract profitable trading signals from the sentiment in news text. However, backtesting such strategies poses a challenge because LLMs are trained on many years of data, and backtesting produces biased results if the training and backtesting periods overlap. This bias can take two forms: a look-ahead bias, in which the LLM may have specific knowledge of the stock returns that followed a news article, and a distraction effect, in which general knowledge of the companies named interferes with the measurement of a text's sentiment. We investigate these sources of bias through trading strategies driven by the sentiment of financial news headlines. We compare trading performance based on the original headlines with de-biased strategies in which we remove the relevant company's identifiers from the text. In-sample (within the LLM training window), we find, surprisingly, that the anonymized headlines outperform, indicating that the distraction effect has a greater impact than look-ahead bias. This tendency is particularly strong for larger companies--companies about which we expect an LLM to have greater general knowledge. Out-of-sample, look-ahead bias is not a concern but distraction remains possible. Our proposed anonymization procedure is therefore potentially useful in out-of-sample implementation, as well as for de-biased backtesting.

研究の動機と目的

• 問題提起: 金融ニュースのセンチメントを用いたLLM駆動の取引における先読みバイアスを動機づける。
• 見出しから企業識別子を除去する匿名化手法を開発する。
• 元の見出しと匿名化見出しのインサンプルおよびアウトオブサンプルの取引パフォーマンスを比較する。
• 企業規模がバイアスとGPTベースのスコアの予測力に与える影響を評価する。
• 将来のLLMバックテストのための実用的なデバイアスガイダンスを提供する。

提案手法

• 固定プロンプトを用いて、見出しを株価に対して良い/中立/悪いに分類するためにGPT-3.5-Turboを使用する。
• GPTスコアから日次取引シグナルを計算し、ロング専用、ショート専用、ロングショート戦略を評価する。
• ファジィマッチングとナレッジグラフの強化を用いて、企業識別子および関連する製品/サービスを置換して見出しを匿名化する。
• scraped と Thomson Reuters の見出しセットを横断して、インサンプルとアウトオブサンプルのパフォーマンスを比較する。
• 平均リターン、t検定、および誤差の分布を分析して、先読みバイアスと気晴らし効果を診断する。

(a)

実験結果

リサーチクエスチョン

• RQ1 企業識別子の匿名化は、GPTベースの感情取引における先読みバイアスを低減するか。
• RQ2 一般的な企業知識からの気晴らしは、インサンプルのバックテストにおける先読みバイアスよりも影響力が大きいか。
• RQ3 企業規模は、バイアスとGPT駆動の取引シグナルのパフォーマンスにどのように影響するか。
• RQ4 デバイアス（匿名化）されたシグナルはアウトオブサンプルのパフォーマンスを改善するか。
• RQ5 オリジナルと匿名化プロンプト下でのGPT感情スコアの予測力はどの程度か。

主な発見

• インサンプルでは、スクレイプデータと Thomson Reuters データのいずれも、匿名化前より匿名化後の見出しの方が平均リターンが高かった（スクレイプ: mean 30.97 vs. 25.08; difference 5.89 bp/day; p=0.017、Thomson Reuters: mean 13.84 vs. 10.74; difference 4.37 bp/day; p=0.017）。
• アウトオブサンプルでは、スクレイプデータは元の方が平均が高い傾向（16.32 vs. 11.09 bp/day、従来の有意水準では有意でない）、Thomson Reutersデータは12.23 vs. 6.07 bp/day（p≈0.064）。
• インサンプルの驚くべき結果は、特に大企業で気晴らし効果が先読みバイアスを上回ることを示唆しており、匿名化がより強い効果をもたらす。
• 分類分析は、元の回答が置換後の回答が中立である場合に誤っていることが多く、元のプロンプト下でのインサンプル損失が大きくなることに寄与する。
• アウトオブサンプルの結果は、先読みバイアスが主要な懸念ではなく、気晴らしが依然として可能であることを示唆しており、大型株で匿名化によるパフォーマンス改善のエビデンスがある。
• 匿名化アプローチは、バックテストのデバイアスを低減し、アウトオブサンプルのパフォーマンスを改善する実用的なツールとして提案されている。

(b)