[논문 리뷰] Comparative Study of Machine Learning Models and BERT on SQuAD

Devshree Patel, Param Raval외 2명|arXiv (Cornell University)|2020. 05. 22.

Topic Modeling참고 문헌 14인용 수 8

한 줄 요약

이 연구는 SQuAD 1.1 질문 응답 벤치마크에서 전통적인 기계학습 모델—로지스틱 회귀, 가우시안 믹스처 모델, 서포트 벡터 머신, 랜덤 포레스트, XGBoost—를 BERT와 비교한다. InferSent를 사용해 문장 임베딩을 생성한 결과, 단순한 모델은 더 빠른 속도를 보이나 BERT는 더 높은 정확도(77% 테스트 F1)를 달성하며 학습 시간이 증가함을 확인하여, 자연어 처리 모델에서 성능과 효율성 사이의 상충 관계를 입증한다.

ABSTRACT

This study aims to provide a comparative analysis of performance of certain models popular in machine learning and the BERT model on the Stanford Question Answering Dataset (SQuAD). The analysis shows that the BERT model, which was once state-of-the-art on SQuAD, gives higher accuracy in comparison to other models. However, BERT requires a greater execution time even when only 100 samples are used. This shows that with increasing accuracy more amount of time is invested in training the data. Whereas in case of preliminary machine learning models, execution time for full data is lower but accuracy is compromised.

연구 동기 및 목표

• SQuAD 1.1 질문 응답 데이터셋에서 전통적인 기계학습 모델의 성능을 평가하는 것.
• 이러한 모델의 정확도와 추론 시간을, 최신 트랜스포머 기반 모델인 BERT와 비교하는 것.
• InferSent 임베딩과 같은 문장 표현 기법이 모델 성능에 미치는 영향을 분석하는 것.
• 질문 응답 시스템에서 모델 복잡도, 학습 시간, 예측 정확도 사이의 상충 관계를 조사하는 것.

제안 방법

• Semantic 표현 기반의 문맥적 문장 임베딩을 생성하기 위해 SQuAD 1.1 데이터를 InferSent로 전처리하는 것.
• 차원 감소를 위해 주성분 분석(PCA)을 적용하고, 복원 손실을 측정하여 성분의 효과를 평가하는 것.
• 하이퍼파라미터 튜닝을 통해 로지스틱 회귀, 가우시안 믹스처 모델, 서포트 벡터 머신, 랜덤 포레스트, XGBoost와 같은 다수의 지도 학습 모델을 훈련 및 평가하는 것.
• 클라우드 TPU를 사용해 BERT BASE(110M 파라미터)를 SQuAD 1.1에 맞게 피지컬 튜닝하여 엔드 투 엔드 질문 응답을 수행하는 것.
• 추론 중에 관련된 문장-질문 쌍을 식별하기 위해 벡터 공간에서 코사인 유사도와 유클리드 거리 사용하는 것.
• 최적의 하이퍼파rameter(예: SVM의 감마) 기반으로 모델 선택을 위한 F1 스코어, 학습/테스트 정확도, 손실 곡선을 사용해 모델 평가하는 것.

실험 결과

연구 질문

• RQ1 전통적인 기계학습 모델은 BERT에 비해 SQuAD 1.1 벤치마크에서 어떻게 성능을 내는가?
• RQ2 간단한 모델과 BERT를 사용할 경우 추론 속도와 정확도 사이의 상충 관계는 어떻게 되는가?
• RQ3 InferSent에서 유도된 문장 임베딩은 다양한 기계학습 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 하이퍼파라미터 튜닝은 이 데이터셋에서 랜덤 포레스트와 XGBoost와 같은 모델의 과적합과 일반화에 어떻게 영향을 주는가?
• RQ5 BERT는 더 높은 계산 비용에도 불구하고 왜 다른 모델들보다 뛰어난 성능을 내는가?

주요 결과

• BERT는 SQuAD 1.1에서 77%의 테스트 정확도를 달성하여 모든 전통적인 기계학습 모델을 크게 앞서 간다.
• 가장 높은 성능을 보인 전통적 모델인 랜덤 포레스트는 min_samples_leaf=8과 n_estimators=60 조건에서 63.7%의 테스트 정확도를 기록했지만, 낮은 잎 크기에서는 성능이 떨어져 과적합이 발생하는 것으로 나타났다.
• RBF 커널을 사용한 SVM은 비트리 기반 모델이 아닌 모델 중에서 가장 높은 66%의 테스트 정확도를 기록했지만, 여전히 BERT에 뒤지지 않았다.
• PCA를 적용한 로지스틱 회귀는 기준선 대비 약간 향상되어 52.5%의 F1 스코어를 기록했지만, 여전히 BERT의 성능에 크게 못 미쳤다.
• 낮은 정확도에도 불구하고, 로지스틱 회귀나 SVM과 같은 단순한 모델은 특히 작은 데이터 서브셋에서 훨씬 더 짧은 실행 시간을 보였다.
• 이 연구는 BERT의 양방향 어텐션과 깊이 있는 트랜스포머 아키텍처가 뛰어난 문맥 이해 능력을 가능하게 하여, 더 높은 계산 비용을 정당화할 수 있음을 확인한다.