[論文レビュー] The Wall Street Neophyte: A Zero-Shot Analysis of ChatGPT Over MultiModal Stock Movement Prediction Challenges

Qianqian Xie, Weiguang Han+3 more|arXiv (Cornell University)|Apr 10, 2023

Stock Market Forecasting Methods被引用数 23

ひとこと要約

本論文は、3つのデータセットにまたがる価格特徴とツイートを用いたゼロショットのマルチモーダル株価変動予測タスクでChatGPTを評価し、強力なベースラインと比較し、プロンプト戦略と説明性の分析を行う。

ABSTRACT

Recently, large language models (LLMs) like ChatGPT have demonstrated remarkable performance across a variety of natural language processing tasks. However, their effectiveness in the financial domain, specifically in predicting stock market movements, remains to be explored. In this paper, we conduct an extensive zero-shot analysis of ChatGPT's capabilities in multimodal stock movement prediction, on three tweets and historical stock price datasets. Our findings indicate that ChatGPT is a "Wall Street Neophyte" with limited success in predicting stock movements, as it underperforms not only state-of-the-art methods but also traditional methods like linear regression using price features. Despite the potential of Chain-of-Thought prompting strategies and the inclusion of tweets, ChatGPT's performance remains subpar. Furthermore, we observe limitations in its explainability and stability, suggesting the need for more specialized training or fine-tuning. This research provides insights into ChatGPT's capabilities and serves as a foundation for future work aimed at improving financial market analysis and prediction by leveraging social media sentiment and historical stock data.

研究の動機と目的

• 過去の価格特徴量とツイートを使用したマルチモーダル株価変動予測におけるChatGPTのゼロショット性能を評価する。
• Chain-of-Thoughtを含むプロンプト設計を含むプロンプト戦略が予測精度に与える影響を評価する。
• ツイート情報を組み込むことが予測を改善するか、あるいはこの金融文脈におけるモデルの説明性の振る舞いに影響を与えるかを調査する。

提案手法

• 日 T までの価格特徴量とツイートを使用して、株価変動予測を上昇/下落の2値分類問題として定式化する。
• 標準化前処理を用いて、BIGDATA22、ACL18、CIKM18 の3つのベンチマークデータセットで評価する。
• 複数のプロンプトを試す：バニラのゼロショットおよびChain-of-Thought（CoT）プロンプティング、ツイートを含むCoTを含む。
• ChatGPTを、LR、RF、LSTM系、DTML、StockNet、SLOT などのベースライン群と比較する。
• ACCとMCCを評価指標として、データセット全体で予測性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 過去の特徴とツイートを用いたマルチモーダル株価変動予測におけるゼロショット設定でのChatGPTの性能はどうか？
• RQ2 RQ2: Chain-of-Thoughtを含むプロンプト設計はこのタスクにおけるChatGPTの性能を改善できるか？
• RQ3 RQ3: ツイート情報の組み込みはChatGPTの予測を助けるか、それともノイズを増やすか？

主な発見

方法	BIGDATA22 ACC	BIGDATA22 MCC	ACL18 ACC	ACL18 MCC	CIKM18 ACC	CIKM18 MCC
LR	53.07	0.0200	52.20	0.0442	52.50	-0.0425
RF	47.10	-0.1114	51.94	0.0348	53.57	0.0119
LSTM	50.69	0.0127	52.75	0.0639	53.31	0.0216
ALSTM	48.69	-0.0254	51.82	0.0429	52.54	-0.0077
Adv-ALSTM	50.36	0.0120	53.11	0.0685	53.69	0.0217
DTML	51.65	0.0651	58.12	0.1806	53.86	0.0049
ALSTM-W	48.28	-0.0116	53.32	0.0754	53.64	0.0315
ALSTM-D	49.16	0.0090	52.98	0.0681	50.40	-0.0449
StockNet	52.99	-0.0163	53.60	-0.0248	52.35	-0.0161
SLOT	54.81	0.0952	58.72	0.2065	55.86	0.0899
ChatGPT_zs	53.13	-0.0251	50.38	0.0049	55.43	0.0111
ChatGPT_cot	48.44	0.0064	51.34	0.0199	48.28	0.0210
ChatGPT_zs w/o tweets	50.68	0.0007	51.67	0.0377	48.83	-0.0011
ChatGPT_cot w/o tweets	48.16	-0.0430	50.11	0.0047	48.97	0.0082

• ChatGPTは一般に最先端技術や従来手法と比べて劣り、いくつかのデータセットで限定的な利得にとどまる。
• Chain-of-Thoughtプロンプトは限定的な改善をもたらし、専門モデルとの差を埋めるには至らない。
• ツイートを含めると、多くのデータセットでChatGPTの性能が向上し、多モーダル株予測におけるテキストデータの価値が浮き彫りになる。
• ChatGPTはCoTプロンプトを通じて説明を提供できるが、マルチモーダル情報の融合による予測制約を完全には解消できない。
• データセット間で性能は異なる（例えばChatGPT_zsはCIKM18でACC 55.43%を達成、MCC 0.0111; ACL18では低い結果）。
• アブレーションではツイートは一般に結果向上に寄与するが、必ずしも普遍的ではなく、データセットによってツイートを除去すると時には害したり有利になったりする。