[논문 리뷰] Sensitivity Analysis on Transferred Neural Architectures of BERT and GPT-2 for Financial Sentiment Analysis

Tracy Qian, Andy Xie외 1명|arXiv (Cornell University)|2022. 07. 07.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 연구는 재무 감성 분석에서 BERT와 GPT-2의 미세조정 성능 및 파라미터 민감도를 조사한다. 동결된 레이어, 배치 크기, 및 학습률을 분석함으로써, BERT의 파라미터는 미세조정 중 불확실성에 매우 민감한 반면, GPT-2는 더 높은 안정성을 보이며, 두 모델의 초기 레이어가 중요한 단어 패턴 정보를 유지함을 발견한다.

ABSTRACT

The explosion in novel NLP word embedding and deep learning techniques has induced significant endeavors into potential applications. One of these directions is in the financial sector. Although there is a lot of work done in state-of-the-art models like GPT and BERT, there are relatively few works on how well these methods perform through fine-tuning after being pre-trained, as well as info on how sensitive their parameters are. We investigate the performance and sensitivity of transferred neural architectures from pre-trained GPT-2 and BERT models. We test the fine-tuning performance based on freezing transformer layers, batch size, and learning rate. We find the parameters of BERT are hypersensitive to stochasticity in fine-tuning and that GPT-2 is more stable in such practice. It is also clear that the earlier layers of GPT-2 and BERT contain essential word pattern information that should be maintained.

연구 동기 및 목표

• 재무 감성 분석에서 미세조정된 BERT와 GPT-2의 성능과 내구성을 평가하기 위해.
• 학습률, 배치 크기, 및 레이어 동결과 같은 하이퍼파라미터에 대한 모델 파라미터 민감도를 평가하기 위해.
• 미세조정 중에 단어 패턴 정보를 유지하는 데 가장 중요한 레이어가 BERT와 GPT-2의 어느 레이어인지 특정하기 위해.
• 스토케스틱 미세조정 조건 하에서 BERT와 GPT-2의 안정성 비교하기 위해.

제안 방법

• 제어된 하이퍼파라미터 설정을 사용하여 재무 감성 데이터셋에 사전 훈련된 BERT와 GPT-2 모델을 미세조정하기 위해.
• 학습률, 배치 크기, 및 동결된 트랜스포머 레이어 수를 체계적으로 변화시켜 성능 및 안정성을 평가하기 위해.
• 다중 랜덤 시드를 통해 정확도 및 F1 점수와 같은 표준 분류 지표를 측정하여 모델 성능을 측정하기 위해.
• 동일한 하이퍼파라미터를 사용한 다중 미세조정 실행 동안 성능 변동을 관찰하여 파라미터 민감도 분석하기 위해.
• 두 모델의 초기 및 후행 트랜스포머 레이어의 기여도를 분석하여 특징 중요도 분석하기 위해.
• 동일한 미세조정 프rotocol 하에서 BERT와 GPT-2 간 성능 변동을 비교하기 위해 통계 분석 수행하기 위해.

실험 결과

연구 질문

• RQ1 학습률은 재무 감성 분석에서 미세조정된 BERT와 GPT-2의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ2 배치 크기는 BERT와 GPT-2의 미세조정 결과 일관성에 어떤 영향을 미치는가?
• RQ3 다른 수의 트랜스포머 레이어를 동결할 경우 모델 성능 및 민감도에 어떤 영향을 미치는가?
• RQ4 BERT와 GPT-2의 파라미터는 미세조정 중 불확실성에 얼마나 민감한가?
• RQ5 BERT와 GPT-2의 어느 레이어가 재무 감성 분류에 있어 가장 필수적인 단어 패턴 정보를 포함하는가?

주요 결과

• BERT는 미세조정 중 불확실성에 매우 민감하며, 동일한 하이퍼파라미터를 사용한 다중 실행 간 성능 변동이 심각하게 나타난다.
• GPT-2는 미세조정 중 더 높은 안정성을 보이며, 반복 시험 간 성능 변동이 낮다.
• BERT와 GPT-2의 초기 레이어는 감성 분류에 필수적인 중요한 단어 패턴 정보를 포함한다.
• 초기 레이어를 동결할 경우 후행 레이어를 동결할 경우보다 성능 저하가 더 심각하여, 초기 레이어의 기초적 역할을 확인한다.
• 특히 BERT의 파라미터 변화 민감도를 감안할 때, 최종 레이어만 미세조정할 경우 최적의 성능을 달성한다.
• 배치 크기와 학습률은 성능 변동에 영향을 주지만, 모델 아키텍처와 초기화의 불확실성에 비해 영향이 덜 두드러진다.