[論文レビュー] BERT-based Financial Sentiment Index and LSTM-based Stock Return Predictability

Joshua Zoen Git Hiew, Xin Huang+4 more|arXiv (Cornell University)|Jun 21, 2019

Stock Market Forecasting Methods参考文献 18被引用数 40

ひとこと要約

この論文はWeiboからのBERTベースのテキスト感情指標を3つのHKSE銘柄用に構築し、オプション-および市場含意感情と比較し、LSTMがVARよりも複数の感情チャネルを用いると株価リターンを予測できることを示す。一方、長期ではMLモデルが過学習する可能性がある。

ABSTRACT

Traditional sentiment construction in finance relies heavily on the dictionary-based approach, with a few exceptions using simple machine learning techniques such as Naive Bayes classifier. While the current literature has not yet invoked the rapid advancement in the natural language processing, we construct in this research a textual-based sentiment index using a well-known pre-trained model BERT developed by Google, especially for three actively trading individual stocks in Hong Kong market with at the same time the hot discussion on Weibo.com. On the one hand, we demonstrate a significant enhancement of applying BERT in financial sentiment analysis when compared with the existing models. On the other hand, by combining with the other two commonly-used methods when it comes to building the sentiment index in the financial literature, i.e., the option-implied and the market-implied approaches, we propose a more general and comprehensive framework for the financial sentiment analysis, and further provide convincing outcomes for the predictability of individual stock return by combining LSTM (with a feature of a nonlinear mapping). It is significantly distinct with the dominating econometric methods in sentiment influence analysis which are all of a nature of linear regression.

研究の動機と目的

• Weiboの中国語テキストを用いてBERTを微調整し、3銘柄のHKSE株式用のテキスト財務感情指標を構築する。
• 金融分野の感情分類において、BERTを他のNLPモデルと比較する。
• BERTベース、オプション含意、市場含意の3チャネル感情フレームワークを構築し、それらの共同効果を検討する。
• 感情指標を用いたLSTMで株価リターンの予測可能性を評価し、VARと比較する。
• 年次別と全期間の予測性能を評価し、過学習の可能性について論じる。

提案手法

• エキスパートの投票合意を用いて、3銘柄のHKSE株式のWeibo投稿を前処理し、3クラスの極性(positive, neutral, negative)で手動ラベル付けする。
• ラベル付きデータ上で中国語BERTを微調整し、注意機構付きTransformer、PMI強化BiLSTM、PMI強化Multichannel CNN、FastTextと比較する。マイクロ平均のPrecision、Recall、F1を報告する。
• BSIt,i = (Post,i − Negt,i) / (Post,i + Neut,i + Negt,i) を銘柄iおよび取引日tごとに計算して、BERTベースの感情指標を形成する。
• オプションデータのリスク中立スキュネスを用いてOSIiを構築する（Han, 2008に従う）。
• Chongら（2014）に従い、日次データについてPCAベースまたは市場データベースアプローチでMSIiを構築する。
• 感情指標と八つのリスクファクター（r1, r3−r1, Inf, UMD, HKD, rm−r1, SMB, HML）を入力とするVAR（線形）とLSTM（非線形）で株価リターン予測可能性をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 中国語ソーシャルメディアから構築されたBERTベースの感情指標は、既存のNLPモデルと比較して金融分野の感情測定を改善できるか。
• RQ2 3つの感情チャネル（テキスト型、オプション含意、市場含意）は株価リターンの動きを説明する際にどのように相互作用するか。
• RQ3 感情指標を取り入れた場合、LSTMは個別株リターンの予測でVARを上回れるか、またどの時間枠でそうなるか。
• RQ4 複数の感情チャネルを組み合わせる（Mixture）は、単一チャネルを使用するより予測精度が高いか。

主な発見

• BERTが中国語の金融テキストにおける感情分類で他のモデルを上回る（Precision、Recall、F1が高く、特にRecallが高い）。
• BERTベースの感情指標（BSI）と2つの追加チャネル（OSI、MSI）は、金融感情分析の3チャネルフレームワークを形成する。
• 年次予測全体で、感情指標を用いたLSTMは一般にVARよりも低いMSEを達成し、感情のリターンへの影響に非線形関係があることを示している。
• 最も強い予測性能は、LSTMモデルで3つの感情チャネルすべてのMixtureを用いたときに頻繁に得られ、いずれかの単一チャネルよりも良い。
• 全期間2016–2018では、LSTMは一貫してVARを上回らず、長期的な予測では過学習の可能性を示唆する。
• No-SIのベースラインと比較して、LSTM使用時に感情指標を追加すると予測性能が著しく向上する。）