[논문 리뷰] Grid Search Hyperparameter Benchmarking of BERT, ALBERT, and LongFormer on DuoRC

Alex John Quijano, Sam Nguyen외 1명|arXiv (Cornell University)|2021. 01. 15.

Topic Modeling참고 문헌 19인용 수 6

한 줄 요약

이 연구는 BERT, ALBERT, LongFormer 모델을 DuoRC 질문 응답 데이터셋에 대해 종합적인 그리드 서치를 통한 초모수 벤치마킹을 수행한다. 사전 훈련된 SQuAD 및 DuoRC 데이터셋을 기반으로 미세조정을 수행한다. ALBERT 모델은 SelfRC에서 F1 점수 76.4와 정확도 68.52를 기록했으며, LongFormer 모델은 ParaphraseRC에서 F1 점수 52.78와 정확도 46.60을 기록하여 다른 모델들을 압도했다.

ABSTRACT

The purpose of this project is to evaluate three language models named BERT, ALBERT, and LongFormer on the Question Answering dataset called DuoRC. The language model task has two inputs, a question, and a context. The context is a paragraph or an entire document while the output is the answer based on the context. The goal is to perform grid search hyperparameter fine-tuning using DuoRC. Pretrained weights of the models are taken from the Huggingface library. Different sets of hyperparameters are used to fine-tune the models using two versions of DuoRC which are the SelfRC and the ParaphraseRC. The results show that the ALBERT (pretrained using the SQuAD1 dataset) has an F1 score of 76.4 and an accuracy score of 68.52 after fine-tuning on the SelfRC dataset. The Longformer model (pretrained using the SQuAD and SelfRC datasets) has an F1 score of 52.58 and an accuracy score of 46.60 after fine-tuning on the ParaphraseRC dataset. The current results outperformed the results from the previous model by DuoRC.

연구 동기 및 목표

• 체계적인 초모수 튜닝을 통해 BERT, ALBERT, LongFormer 모델의 DuoRC 질문 응답 데이터셋에서의 성능을 평가하기 위해.
• 다양한 구성에서 그리드 서치를 통해 각 모델의 최적 초모수를 도출하기 위해.
• SelfRC(짧은, 원본 플롯)와 ParaphraseRC(긴, 재구성된 플롯)로 나누어진 DuoRC의 두 하위집합에서의 모델 성능를 비교하기 위해.
• 읽기 이해 작업의 미세조정 성능에 영향을 주는 사전 훈련 데이터(예: SQuAD1, SQuAD2, SelfRC)의 영향을 평가하기 위해.
• 복잡한 추론 요구 사항을 수반하는 서사적 및 재구성된 문서 이해에 대해 트랜스포머 기반 모델의 기준 성능을 설정하기 위해.

제안 방법

• BERT, ALBERT, LongFormer의 사전 훈련 가중치는 Hugging Face의 모델 허브에서 확보되었다.
• 최대 시퀀스 길이(msl), 드롭아웃 비율(ds), 최대 쿼리 길이(mql), 훈련 배치 크기(tbs) 등의 초모수를 대상으로 그리드 서치를 수행하였다.
• 모델들은 두 개의 DuoRC 하위집합인 SelfRC(원본 짧은 플롯)와 ParaphraseRC(더 긴 재구성된 플롯)에서 미세조정되었다.
• 평가 지표로는 각 초모수 구성에 대해 검증 세트와 테스트 세트에서의 F1 점수와 정확도가 사용되었다.
• 최고의 성능을 보인 초모수 조합은 검증 세트 성능에 기반하여 선정되었으며, 최종 결과는 테스트 세트에서 보고되었다.
• 표준 Hugging Face Transformers 훈련 파이프라인을 사용하여 미세조정을 수행하였으며, 교차 엔트로피 손실과 AdamW 최적화 방법을 적용하였다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델 중 BERT, ALBERT, LongFormer 중에서 초모수 튜닝 후 DuoRC 데이터셋에서 가장 높은 성능을 내는 것은 무엇인가?
• RQ2 SQuAD1, SQuAD2, SelfRC 등의 사전 훈련 데이터가 DuoRC에서의 미세조정 성능에 어떤 영향을 미치는가?
• RQ3 SelfRC 및 ParaphraseRC 하위집합에서 최적의 F1 점수와 정확도를 얻는 데 기여하는 초모수 설정(msl, ds, mql, tbs)은 무엇인가?
• RQ4 왜 SelfRC와 ParaphraseRC 간의 F1 점수와 정확도가 다르며, 모델 아키텍처는 이 격차에 어떤 영향을 미치는가?
• RQ5 긴 컨텍스트를 고려하도록 설계된 LongFormer가 상대적으로 낮은 점수를 기록함에도 불구하고, 더 긴 ParaphraseRC 하위집합에서 다른 모델들을 능가할 수 있는가?

주요 결과

• SQuAD1에서 사전 훈련한 ALBERT 모델은 미세조정 후 SelfRC 데이터셋에서 F1 점수 76.4와 정확도 68.52를 기록했다.
• SelfRC에서 사전 훈련한 LongFormer 모델은 ParaphraseRC에서 최고의 성능을 기록했으며, F1 점수 52.78와 정확도 46.60을 기록했다.
• 최대 시퀀스 길이 384 토큰과 배치 크기 64를 사용한 미세조정은 모든 모델에서 일관되게 뛰어난 성능을 보였다.
• DuoRC 전용 데이터(예: selfduorc)에서 사전 훈련한 모델들은 SQuAD 기반 사전 훈련 모델보다 약간 향상된 성능을 보였으며, 특히 ParaphraseRC 설정에서 두드러졌다.
• ParaphraseRC에서의 F1 점수는 항상 SelfRC보다 낮았으며, 더 긴 컨텍스트와 낮은 어휘 일치도로 인해 더 어려운 작업임을 시사했다.
• ParaphraseRC에서 LongFormer의 최고 성능 설정은 시퀀스 길이 768, 드롭아웃 0.3, 배치 크기 4로, 검증 세트에서 F1 점수 52.78를 기록했다.