[논문 리뷰] Introducing BEREL: BERT Embeddings for Rabbinic-Encoded Language

Avi Shmidman, Joshua Guedalia외 4명|arXiv (Cornell University)|2022. 08. 03.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 랍비 히브리어 문체에 특화된 BERT 기반 언어 모델인 BEREL을 소개한다. 이는 역사적으로 특수한 언어적 특성을 지닌 랍비 히브리어 분야의 NLP 도구 부족을 보완하기 위해 개발되었다. 탈무드 및 기타 랍비 문헌 대규모 코퍼스를 기반으로 훈련된 BEREL은 일반 히브리어 모델인 HeBERT와 AlephBert보다 자체적으로 제작한 동음이의어 해소 도전 셋에서 뛰어난 성능을 보이며, 랍비 히브리어의 고유한 형태소적, 문법적, 철자적 특성을 효과적으로 포착함을 입증한다.

ABSTRACT

We present a new pre-trained language model (PLM) for Rabbinic Hebrew, termed Berel (BERT Embeddings for Rabbinic-Encoded Language). Whilst other PLMs exist for processing Hebrew texts (e.g., HeBERT, AlephBert), they are all trained on modern Hebrew texts, which diverges substantially from Rabbinic Hebrew in terms of its lexicographical, morphological, syntactic and orthographic norms. We demonstrate the superiority of Berel on Rabbinic texts via a challenge set of Hebrew homographs. We release the new model and homograph challenge set for unrestricted use.

연구 동기 및 목표

• 랍비 히브리어에 특화된 NLP 모델 부족 문제를 해결하기 위해, 역사적으로 독특한 언어 규범을 지닌 랍비 히브리어에 특화된 모델을 개발하는 것.
• 현대 히브리어 NLP 모델과 랍비 히브리어 텍스트의 전문화된 요구사항 사이의 격차를 메우는 것.
• 랍비 히브리어의 어휘적, 형태소적, 문법적, 철자적 특수성을 효과적으로 포착하는 사전 훈련된 언어 모델을 개발하는 것.
• 랍비 텍스트에서 어휘적 모호성 문제를 평가하기 위해 전용 벤치마크 도전 셋을 제작 및 공개하는 것.

제안 방법

• 탈무드 및 기타 고전적 랍비 문헌 포함 대규모 랍비 히브리어 텍스트 코퍼스를 기반으로 BERT 기반 아키텍처를 사전 훈련하는 것.
• 표준 BERT와 유사하게, 마스크된 언어 모델링 및 다음 문장 예측 목표를 사전 훈련 중 사용하는 것.
• 랍비 히브리어의 불규칙적 어형과 철자적 특성에 맞는 도메인 전용 토크나이제이션 및 서브워드 분할 기법을 활용하는 것.
• 문맥 기반 어휘적 모호성 해소 능력을 평가하기 위해 커리티드 동음이의어 해소 작업에 모델을 미세조정하는 것.
• 모델 가중치와 도전 셋을 제한 없이 라이선스하여 재현 가능성과 향후 연구 지원을 위한 것.

실험 결과

연구 질문

• RQ1 랍비 히브리어에 사전 훈련된 BERT 기반 모델은 고전적 언어적 구조를 깊이 이해해야 하는 작업에서 일반 히브리어 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ2 역사적 철자법과 형태학적 특성으로 인해 단어 형태가 모호한 랍비 히브리어에서 도메인 특화 사전 훈련 모델은 동음이의어 해결에 얼마나 효과적인가?
• RQ3 HeBERT와 AlephBert와 같은 일반 히브리어 모델은 랍비 히브리어의 문법적 및 형태소적 세부 사항을 얼마나 잘 포착하지 못하는가?
• RQ4 저자원, 역사적으로 특수한 NLP 작업에서 훈련 데이터 도메인은 최종 성능에 어떤 영향을 미치는가?

주요 결과

• BEREL은 자체 제작한 동음이의어 해소 도전 셋에서 HeBERT와 AlephBert를 뛰어나게 성능을 보이며, 문맥 기반 어휘의미 해소 능력에서 뛰어난 성능을 입증한다.
• 모델은 동음이의어 벤치마크에서 최고 성능을 기록하여, 랍비 히브리어의 형태소적 및 문법적 복잡성을 효과적으로 포착함을 나타낸다.
• 동음이의어 도전 셋의 공개는 향후 랍비 히브리어를 대상으로 한 모델 평가를 위한 표준화된 평가 기준을 제공한다.
• 일반 히브리어 모델과 BEREL 간의 성능 격차는 역사적 및 종교적 텍스트 처리 분야에서 도메인 특화 사전 훈련의 중요성을 강조한다.