[논문 리뷰] The merits of Universal Language Model Fine-tuning for Small Datasets -- a case with Dutch book reviews

Benjamin van der Burgh, Suzan Verberne|arXiv (Cornell University)|2019. 10. 02.

Topic Modeling참고 문헌 8인용 수 13

한 줄 요약

이 논문은 소규모 네덜란드어 책 리뷰 데이터셋에서 감성 분류를 위한 유니버설 랭귀지 모델 파인튜닝(ULMFiT)을 평가하며, 수동으로 레이블링된 예시가 100개 밖에 되지 않을 때조차도 ULMFiT가 전통적인 SVM보다 뛰어난 성능을 보임을 입증한다. 저자들은 새로운 110만 개의 네덜란드어 책 리뷰 데이터셋과 사전 훈련된 네덜란드어 언어 모델을 공개하며, 최소한의 레이블 데이터로도 ULMFiT가 약 90%의 정확도를 달성함을 보여주어 자원이 적은 NLP 작업에 효과적인 전이 학습의 가능성을 입증한다.

ABSTRACT

We evaluated the effectiveness of using language models, that were pre-trained in one domain, as the basis for a classification model in another domain: Dutch book reviews. Pre-trained language models have opened up new possibilities for classification tasks with limited labelled data, because representation can be learned in an unsupervised fashion. In our experiments we have studied the effects of training set size (100-1600 items) on the prediction accuracy of a ULMFiT classifier, based on a language models that we pre-trained on the Dutch Wikipedia. We also compared ULMFiT to Support Vector Machines, which is traditionally considered suitable for small collections. We found that ULMFiT outperforms SVM for all training set sizes and that satisfactory results (~90%) can be achieved using training sets that can be manually annotated within a few hours. We deliver both our new benchmark collection of Dutch book reviews for sentiment classification as well as the pre-trained Dutch language model to the community.

연구 동기 및 목표

• 소규모 저자원 네덜란드어 텍스트 데이터셋에서 ULMFiT의 감성 분류 효과성을 평가하는 것.
• 다양한 훈련 세트 크기에서 기존 모델인 SVM과의 성능 비교.
• 네덜란드어 NLP 연구를 위한 새로운 벤치마크 데이터셋과 사전 훈련된 언어 모델을 제공하는 것.
• 사전 훈련된 언어 모델을 활용한 전이 학습이 최소한의 수동 레이블링 데이터로도 높은 정확도를 달성할 수 있는지 평가하는 것.

제안 방법

• 도메인에 관계없이 표현을 학습하기 위해 네덜란드 위키백과를 기반으로 AWD-LSTM 언어 모델을 사전 훈련하였다.
• 이중 감성 레이블이 부여된 새로운 110만 개의 네덜란드어 책 리뷰 데이터셋을 사용해 ULMFiT 분류기의 파인튜닝을 수행하였다.
• 고정된 언어 모델을 사용하고, 최종 레이어와 드롭아웃 파라미터만 하이퍼파라미터 최적화 도구 HpBandster를 통해 조정하였다.
• TF-IDF 및 CountVectorizer 특징을 사용한 LinearSVM와의 성능 비교를 수행하였으며, C 하이퍼파라미터 최적화를 실시하였다.
• 100에서 1,600개의 인스턴스까지 다양한 훈련 세트 크기에서 성능을 평가하였으며, 안정성을 확보하기 위해 각 크기별로 10개의 랜덤 서브샘플을 사용하였다.
• 모든 실험 간 일관되고 비교 가능한 평가를 확보하기 위해 5,000개의 샘플로 구성된 테스트 세트를 별도로 확보하였다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터로 소규모 네덜란드어 텍스트 데이터셋에서 ULMFiT가 높은 감성 분류 정확도를 달성할 수 있는가?
• RQ2 저자원 환경에서 다양한 훈련 세트 크기에서 ULMFiT 성능이 기존 모델인 SVM과 비교해 어떻게 되는가?
• RQ3 일반 도메인(위키백과)에서 사전 훈련된 언어 모델이 네덜란드어에서 도메인 특화 작업(책 리뷰)으로 일반화되는 정도는 어느 정도인가?
• RQ4 예를 들어 약 100~1,600개의 예시로 구성된 소규모 수동 레이블링 데이터셋이 ULMFiT의 전이 학습을 통해 만족스러운 성능을 낼 수 있는가?

주요 결과

• ULMFiT는 모든 훈련 세트 크기에서 SVM을 능가하였으며, 가장 작은 ULMFiT 모델(1,600개 예시)이 10개의 랜덤 서브샘플 모두에서 최소 89.54%의 정확도를 기록하였다.
• 전체 15,000개 예시로 구성된 훈련 세트에서 SVM이 기록한 성능(89.16%)은 ULMFiT가 단지 1,600개의 훈련 인스턴스로도 초월하였다.
• ULMFiT는 랜덤 서브샘플 간 변동성이 SVM보다 낮아, 소규모 데이터에서 더 높은 모델 안정성을 보였다.
• 사전 훈련된 네덜란드어 언어 모델 덕분에 최소한의 파인튜닝으로도 높은 성능이 달성되었으며, 위키백과에서의 사전 훈련이 책 리뷰로의 도메인 전이 가능성에 강력한 기여를 했다고 볼 수 있다.
• 수동 레이블링이 몇 시간 내로 가능할 정도의 작은 훈련 세트로도 만족스러운 성능(~90% 정확도)을 확보할 수 있었다.
• 110만 개의 네덜란드어 책 리뷰 데이터셋과 사전 훈련된 ULMFiT 모델의 공개는 저자원 네덜란드어 NLP 연구를 위한 귀중한 벤치마크와 자원을 제공한다.