[논문 리뷰] Applying a Pre-trained Language Model to Spanish Twitter Humor Prediction

Bobak Farzin, Piotr Czapla외 1명|arXiv (Cornell University)|2019. 07. 06.

Humor Studies and Applications참고 문헌 11인용 수 5

한 줄 요약

이 논문은 대규모 자가 수집한 스페인어 트위터 코퍼스(475K 트윗)와 레이블 스무딩을 활용하여 스페인어 트위터 유머 감지 및 회귀에 대해 최적화된 사전 훈련된 언어 모델을 제안한다. 이 접근법은 유저 감지에서 3위(F1: 0.8099), 회귀에서 2위를 기록하며, transfer learning과 Fast.ai, 무작위 시드 최적화를 통해 모델 초기화를 수행함으로써 강력한 NBSVM 베이스라인을 능가한다.

ABSTRACT

Our entry into the HAHA 2019 Challenge placed $3^{rd}$ in the classification task and $2^{nd}$ in the regression task. We describe our system and innovations, as well as comparing our results to a Naive Bayes baseline. A large Twitter based corpus allowed us to train a language model from scratch focused on Spanish and transfer that knowledge to our competition model. To overcome the inherent errors in some labels we reduce our class confidence with label smoothing in the loss function. All the code for our project is included in a GitHub repository for easy reference and to enable replication by others.

연구 동기 및 목표

• 사전 훈련된 언어 모델을 활용한 전이 학습을 통해 스페인어 트위터에서의 유머 감지 및 웃기기 정도 점수 예측을 향상시키기 위해.
• 손실 함수에 레이블 스무딩을 적용하여 예측의 과도한 확신과 레이블 노이즈 문제를 완화하기 위해.
• 무작위 시드를 하이퍼파라미터로 간주하고 20회 시도 중 최良 초기화를 선택하여 모델 일반화 능력을 향상시키기 위해.
• 도메인 특화된 대규모 스페인어 트위터 코퍼스를 활용해 강력하고 재현 가능한 시스템을 구축하기 위해.
• 유저 분류 및 회귀 작업 모두에서 표준 NBSVM 베이스라인을 능가하기 위해.

제안 방법

• tweePy를 통해 수집한 475,143건의 스페인어 트위터 코퍼스를 기반으로 언어 모델을 사전 훈련하였으며, 중복을 줄이기 위해 재트윗을 제외하였다.
• 반복된 문자, 전문자어, 문장 부호 간격, 줄바꿈 정규화 등의 텍스트 정제 함수를 순차적으로 적용하였다.
• 30,000개의 어휘를 가진 byte-pair encoding(BPE)을 사용한 sentencepiece를 활용해 텍스트를 서브워드 단위로 토크나이징 하였다.
• ULMFiT 스타일의 전이 학습을 통해 언어 모델을 미세조정하였으며, 최종 레이어를 소프트맥스(분류) 또는 선형(회귀) 헤드로 교체하였다.
• 예측의 정규화 및 과도한 확신 방지를 위해 손실 함수에 레이블 스무딩을 적용하였으며, 점진적 고정 해제 없이 전체 훈련을 수행할 수 있도록 하였다.
• 20번의 초기화에서 최良의 무작위 시드를 선택하고, 검증 데이터에 대해 5겹 교차검증을 수행하여 모델 성능을 최적화하였다.

실험 결과

연구 질문

• RQ1 표준 사전 훈련된 모델 대비 자가 수집한 대규모 스페인어 트위터 코퍼스가 유머 감지 성능 향상에 기여하는가?
• RQ2 전이 학습에서 점진적 고정 해제 대비 손실 함수에 레이블 스무딩을 적용할 경우 일반화 능력 향상과 수렴 속도 향상이 이루어지는가?
• RQ3 스페인어 유머 분류와 같은 저자원 NLP 과제에서 무작위 시드 초기화가 모델 성능에 미치는 영향은 어떠한가?
• RQ4 도메인 특화 언어 모델을 활용한 전이 학습이 강력한 NBSVM 베이스라인을 얼마나 능가할 수 있는가?
• RQ5 사전 훈련된 언어 모델을 사용한 엔드 투 엔드 훈련이 수작업 특징 없이도 스페인어 유머 감지 및 회귀에서 최고 성능을 달성할 수 있는가?

주요 결과

• 모델은 테스트 세트에서 F1 점수 0.8099로 유저 감지 과제에서 3위를 기록하였으며, NBSVM 베이스라인(F1: 0.7548)을 초월하였다.
• 가장 성능이 뛰어난 모델은 검증 세트에서 5겹 교차검증 F1 점수 0.8254를 기록하여 강력한 일반화 능력을 보였다.
• 레이블 스무딩 덕분에 점진적 고정 해제 없이 전체 훈련을 수행할 수 있었으며, 이는 훈련 복잡도를 감소시키면서도 성능 유지에 기여하였다.
• 20번의 시도 중 최良의 무작위 시드가 첫 번째 시드 대비 F1 점수를 0.0016 향상시켰으며, 이는 초기화의 중요성을 강조한다.
• 모델은 F1(0.8099 vs. 0.7548)와 회귀 과제의 RMSE 모두에서 NBSVM 베이스라인을 능가하여 2위를 기록하였다.
• 16배 더 큰 도메인 특화 스페인어 트위터 코퍼스의 사용은 언어 모델이 유머에 관련된 약어, 줄임말, 이모티콘 등을 더 잘 포착할 수 있도록 크게 향상시켰다.