[논문 리뷰] Automated classification for open-ended questions with BERT

Hyukjun Gweon, Matthias Schonlau|arXiv (Cornell University)|2022. 09. 13.

Natural Language Processing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 개방형 설문 응답을 자동 분류하기 위해 미세조정된 BERT를 평가하며, SVM, 랜덤 포레스트, XGBoost와 같은 비사전학습 모델과 비교한다. 결과적으로 훈련 데이터가 증가함에 따라 BERT가 이들 모델을 뚜렷이 앞서며, 200~400개의 레이블된 예제를 초과할 경우 명백한 정확도 우위를 보이며 사회과학 연구에서 대규모 텍스트 코드화에 더 우수한 선택이 된다.

ABSTRACT

Manual coding of text data from open-ended questions into different categories is time consuming and expensive. Automated coding uses statistical/machine learning to train on a small subset of manually coded text answers. Recently, pre-training a general language model on vast amounts of unrelated data and then adapting the model to the specific application has proven effective in natural language processing. Using two data sets, we empirically investigate whether BERT, the currently dominant pre-trained language model, is more effective at automated coding of answers to open-ended questions than other non-pre-trained statistical learning approaches. We found fine-tuning the pre-trained BERT parameters is essential as otherwise BERT's is not competitive. Second, we found fine-tuned BERT barely beats the non-pre-trained statistical learning approaches in terms of classification accuracy when trained on 100 manually coded observations. However, BERT's relative advantage increases rapidly when more manually coded observations (e.g. 200-400) are available for training. We conclude that for automatically coding answers to open-ended questions BERT is preferable to non-pretrained models such as support vector machines and boosting.

연구 동기 및 목표

• 사전학습된 언어 모델인 BERT가 비사전학습 모델 대비 개방형 설문 응답의 자동 분류 성능을 향상시키는지 평가하는 것.
• 설문 연구에서 흔한 작은 훈련 데이터셋에서 BERT의 미세조정의 필요성과 영향을 조사하는 것.
• 다양한 수준의 수동으로 코드화된 훈련 데이터를 기반으로 BERT의 성능을 기존 모델(SVM, 랜덤 포레스트, XGBoost)과 비교하는 것.
• 설문 데이터에서 흔한 비균형 클래스 분포를 다룰 때 BERT의 강건성 평가.
• 실제 설문 응용 프로그램에서 BERT를 사용한 자동 코드화의 실용성과 확장 가능성 결정.

제안 방법

• 두 개의 실제 설문 데이터셋인 Patient Joe와 Disclosure에서 캐스팅되지 않은 BERT 기반 모델(12층, 768개의 은닉 유닛, 12개의 어텐션 헤드)을 미세조정.
• 10% 드롭아웃을 사용한 교차 엔트로피 손실을 적용하고, 배치 크기가 8이고 미세조정 학습률이 0.0003인 조건에서 3 에포크 동안 훈련.
• 비-BERT 모델(SVM, 랜덤 포레스트, XGBoost)과의 공정한 비교를 위해 텍스트 응답을 유니그램 기반 수치적 특징으로 변환.
• 각 비-BERT 모델의 하이퍼파ram터 최적화를 위해 그리드 서치(SVM, RF) 또는 50회 반복 랜덤 서치(XGBoost)를 수행.
• 훈련 세트를 100에서 400개의 관측치로 설정하고, 검증용으로 100개의 샘플을 확보하며 나머지를 테스트용으로 사용.
• 전반적인 정확도, 매크로 정확도, 클래스별 정확도를 측정하여 전체 및 각 클래스의 성능 평가.

실험 결과

연구 질문

• RQ1 비사전학습 모델 대비 BERT의 미세조정이 개방형 설문 응답의 분류 정확도를 유의미하게 향상시키는가?
• RQ2 수동으로 코드화된 훈련 데이터의 양이 증가함에 따라 BERT의 성능은 어떻게 변화하는가?
• RQ3 비균형 데이터셋에서 BERT의 성능이 높은 빈도 클래스에 편향되는가?
• RQ4 훈련 데이터가 제한적일 경우(예: 100~400개 예제), SVM, 랜덤 포레스트, XGBoost와 비교해 BERT의 상대적 우위는 어떠한가?
• RQ5 계산 및 구현 과제가 존재함에도 불구하고 BERT는 사회과학 연구에서 실용적으로 구현 가능한가?

주요 결과

• BERT의 미세조정은 정확도를 10~20个百分点 향상시켜 경쟁 가능하게 만들었으며, 미세조정 없이 사용할 경우 비사전학습 모델에 뒤지게 되었다.
• 단지 100개의 훈련 예제만으로도 BERT의 정확도는 비사전학습 모델과 유사했지만, 데이터가 늘어남에 따라 성능 격차가 커졌으며, 200~400개 예제에서 뚜렷한 우위를 보였다.
• 낮은 빈도 클래스에서 성능 저하 없이 대부분의 클래스에서 높은 정확도를 달성하여, 비균형 데이터에 대한 강건성을 보였다.
• 매크로 정확도 결과는 BERT의 우위가 주로 높은 빈도 클래스에 국한되지 않고 모든 클래스에서 일관되게 유지됨을 확인하여, 다중 클래스 설정에서의 공정성에 기여했다.
• 훈련 데이터 크기가 커질수록 BERT의 상대적 우위가 증가하여, 더 큰 레이블된 데이터셋이 가용할 경우 특히 효과적임을 시사했다.
• 더 높은 계산 및 프로그래밍 요구 사항이 있음에도 불구하고, BERT는 재현 가능하고 확장 가능한 분류를 제공하며, 특히 대규모 설문 데이터셋이나 종단 간 연구에 매우 유용하다.