[논문 리뷰] AlephBERT:A Hebrew Large Pre-Trained Language Model to Start-off your Hebrew NLP Application With

Amit Seker, Elron Bandel외 4명|arXiv (Cornell University)|2021. 04. 08.

Natural Language Processing Techniques참고 문헌 7인용 수 23

한 줄 요약

AlephBERT는 현대 hebrew어를 위한 대규모 사전 훈련된 언어 모델로, 이전의 히브리어 모델보다 더 넓고 다양한 데이터셋을 기반으로 훈련되어, 형태소 분할, 품사 태깅, 명명된 실체 인식, 감성 분석과 같은 핵심 NLP 과제에서 최고 성능을 기록하였다. 이는 다국어 mBERT와 히브리어 전용 HeBERT를 모두 압도하며, 형태학적으로 복잡하고 자원이 부족한 언어에 대해 더 큰 어휘와 광범위한 사전 훈련 데이터의 이점이 있음을 보여준다.

ABSTRACT

Large Pre-trained Language Models (PLMs) have become ubiquitous in the development of language understanding technology and lie at the heart of many artificial intelligence advances. While advances reported for English using PLMs are unprecedented, reported advances using PLMs in Hebrew are few and far between. The problem is twofold. First, Hebrew resources available for training NLP models are not at the same order of magnitude as their English counterparts. Second, there are no accepted tasks and benchmarks to evaluate the progress of Hebrew PLMs on. In this work we aim to remedy both aspects. First, we present AlephBERT, a large pre-trained language model for Modern Hebrew, which is trained on larger vocabulary and a larger dataset than any Hebrew PLM before. Second, using AlephBERT we present new state-of-the-art results on multiple Hebrew tasks and benchmarks, including: Segmentation, Part-of-Speech Tagging, full Morphological Tagging, Named-Entity Recognition and Sentiment Analysis. We make our AlephBERT model publicly available, providing a single point of entry for the development of Hebrew NLP applications.

연구 동기 및 목표

• 형태학적으로 복잡하고 자원이 부족한 현대 히브리어를 위한 대규모 고품질 사전 훈련된 언어 모델의 부족을 해결하기 위해.
• 히브리어 NLP를 위한 개방형 표준 벤치마크와 훈련 데이터의 부족을 극복하기 위해.
• 다양한 히브리어 NLP 과제에서 최고 성능을 달성할 수 있는 통합된 공개 모델 기반을 마련하기 위해.
• 다양한 기존 벤치마크와 일관된 평가 프로토콜을 사용하여 향후 히브리어 PLM 연구를 위한 표준화된 평가 프레임워크를 제공하기 위해.
• 더 큰 사전 훈련 데이터와 어휘 크기가 NER 및 형태소 태깅과 같은 후행 과제에서 성능 향상에 크게 기여함을 입증하기 위해.

제안 방법

• 이전 모델들보다 훨씬 더 큰 히브리어 텍스트 볼륨을 확보하기 위해, OSCAR 코퍼스, 위키백과, 트위터 데이터를 조합한 대규모 BERT 기반 모델인 AlephBERT를 훈련시켰다.
• 히브리어 형태학적 복잡성을 더 잘 포착하기 위해 HeBERT의 30K보다 크고, mBERT의 120K와 유사한 52K의 어휘 크기를 사용하였으며, 이 중 히브리어 전용 어휘는 2,450개에 불과하다.
• 기존의 벤치마크를 사용하여 형태소 분할, 품사 태깅, 완전한 형태소 태깅, NER, 감성 분석 등 다양한 히브리어 NLP 과제에 대해 AlephBERT를 미세조정하였다.
• SPMRL, 히브리어 UD, Ben Mordecai & Elhadad, Bareket & Tsarfaty, 페이스북 감성 데이터셋을 포함한 여러 데이터셋과 표기 체계에서 성능을 평가하였다.
• 형태소 분할과 NER를 동시에 최적화하기 위한 다중 작업 학습 설정을 도입하여 전체 성능 향상을 이룩하였다.
• Hugging Face 및 상호작용형 데모를 통해 모델을 공개하여, 다양한 모델 간 마스킹 언어 모델링 예측을 정성적으로 비교할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 형태학적으로 복잡하고 자원이 부족한 언어임에도 불구하고, 더 큰 사전 훈련된 언어 모델이 다양한 NLP 과제에서 최고 성능을 달성할 수 있는가?
• RQ2 사전 훈련 코퍼스와 어휘 크기를 증가시키면 형태학적으로 복잡한 과제인 분할 및 NER 성능에 어떤 영향을 미치는가?
• RQ3 모델의 깊이(층 수)와 사전 훈련 데이터 볼륨이 현대 히브리어와 같은 저자원 환경에서 후행 과제 성능에 얼마나 영향을 미치는가?
• RQ4 통합된 공개 가능 모델이 향후 히브리어 NLP 연구 및 응용 개발을 위한 신뢰할 수 있는 기반 모델이 될 수 있는가?
• RQ5 다양한 입력 표현 전략과 단어 분해 방법은 히브리어 PLM의 성능에 어떤 영향을 미치는가?

주요 결과

• AlephBERT-base는 형태소 분할, 품사 태깅, 형태소 태깅, NER, 감성 분석을 포함한 모든 평가된 히브리어 NLP 과제에서 최고 성능을 기록하였다.
• 모든 벤치마크에서 mBERT와 HeBERT를 모두 압도하며, 특히 NER 성능 향상이 두드러져 의미적 및 형태학적 구조를 더 잘 포착함을 시사한다.
• 모델 성능은 분할 품질과 강하게 상관관계가 있으며, 더 나은 형태소 분할이 더 나은 NER 결과를 이끌어낸다.
• HeBERT는 AlephBERT-small보다 층 수가 더 많지만(12층 대비 6층), AlephBERT-small보다 성능이 뛰어나, 충분한 사전 훈련 데이터가 없으면 층 수만으로는 충분하지 않음을 시사한다.
• HeBERT보다 약 10배 더 큰 데이터셋으로 훈련된 AlephBERT-base는 유사한 아키텍처임에도 불구하고 뛰어난 성능을 기록하며, 데이터 스케일의 영향을 입증한다.
• 형태소 분할과 NER를 함께 최적화하는 다중 작업 학습 설정이 가장 우수한 성능을 내었으며, AlephBERT-base는 파ipel라인(오라클 및 예측된 분할) 및 MTL 설정 모두에서 최고 점수를 기록하였다.