[論文レビュー] Sensitivity Analysis on Transferred Neural Architectures of BERT and GPT-2 for Financial Sentiment Analysis

Tracy Qian, Andy Xie+1 more|arXiv (Cornell University)|Jul 7, 2022

Stock Market Forecasting Methods被引用数 5

ひとこと要約

本研究は、金融文書感情分析におけるBERTとGPT-2の微調整性能およびパラメータ感度を調査する。固定層、バッチサイズ、および学習率を分析することで、微調整中の確率的要因に起因するパラメータ感度がBERTでは顕著である一方、GPT-2はより高い安定性を示すことが判明した。両モデルの初期層は、重要な語のパターン情報の保持に寄与している。

ABSTRACT

The explosion in novel NLP word embedding and deep learning techniques has induced significant endeavors into potential applications. One of these directions is in the financial sector. Although there is a lot of work done in state-of-the-art models like GPT and BERT, there are relatively few works on how well these methods perform through fine-tuning after being pre-trained, as well as info on how sensitive their parameters are. We investigate the performance and sensitivity of transferred neural architectures from pre-trained GPT-2 and BERT models. We test the fine-tuning performance based on freezing transformer layers, batch size, and learning rate. We find the parameters of BERT are hypersensitive to stochasticity in fine-tuning and that GPT-2 is more stable in such practice. It is also clear that the earlier layers of GPT-2 and BERT contain essential word pattern information that should be maintained.

研究の動機と目的

• 金融文書感情分析における微調整済みBERTとGPT-2の性能および耐障害性を評価すること。
• 学習率、バッチサイズ、および層の固定といったハイパーパramータに対するモデルパラメータの感度を評価すること。
• 微調整中に語のパターン情報の保持に最も寄与するBERTおよびGPT-2の各層を特定すること。
• 確率的微調整条件下におけるBERTとGPT-2の安定性を比較すること。

提案手法

• 制御されたハイパーパramータ設定を用いて、金融文書感情分析データセット上で事前学習済みBERTおよびGPT-2モデルを微調整する。
• 学習率、バッチサイズ、および固定するTransformer層の数を系統的に変化させ、性能と安定性を評価する。
• 複数のランダムシードを用いた標準分類指標（正確度、F1スコアなど）を通じてモデル性能を測定する。
• 同一ハイパーパramータ設定下での複数回の微調整実行における性能のばらつきを観察することで、パラメータ感度を分析する。
• 両モデルにおける初期層と後続層の貢献度を分析することで、特徴量の重要性を検証する。
• 同一微調整プロトコル下でのBERTとGPT-2間の性能ばらつきを比較する統計的分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 学習率は、金融文書感情分析における微調整済みBERTおよびGPT-2の性能と安定性にどのように影響するか？
• RQ2 バッチサイズは、BERTおよびGPT-2の微調整結果の一貫性にどのような影響を及えるか？
• RQ3 異なる数のTransformer層を固定することで、モデル性能と感度にどのような影響が生じるか？
• RQ4 BERTおよびGPT-2のパラメータは、微調整中の確率的要因に対してどの程度感度を示すか？
• RQ5 BERTおよびGPT-2のどの層が、金融文書感情分類に不可欠な語のパターン情報を最も多く保持しているか？

主な発見

• BERTは微調整における確率的要因に対して高い感度を示し、同一ハイパーパramータ設定下でも複数回の実行で顕著な性能ばらつきを示した。
• GPT-2は微調整中により高い安定性を示し、繰り返し実行における性能ばらつきが低かった。
• BERTおよびGPT-2の初期層は、感情分類に不可欠な語のパターン情報を保持している。
• 初期層を固定すると、後続層を固定する場合に比べて性能低下が顕著に顕われ、初期層の基盤的役割が示された。
• 特にBERTのパラメータ変更に敏感であるため、最終層のみを微調整することで最適な性能が達成された。
• バッチサイズと学習率は性能ばらつきに一定の影響を及えるが、モデルアーキテクチャーや初期化の確率的要因に比べて影響度はやや小さい。