[논문 리뷰] NoCoLA: The Norwegian Corpus of Linguistic Acceptability

Matias Jentoft, David Samuel|arXiv (Cornell University)|2023. 06. 13.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 Bokmål에서 어휘적 타당성 평가를 위한 새로운 노르웨이어 코퍼스인 NoCoLA를 소개한다. 이 코퍼스는 두 가지 데이터셋을 포함한다: 감독 학습을 위한 이진 분류용 NoCoLA class와 제로샷 문법적 판단을 위한 NoCoLA zero이다. 주요 기여는 노르웨이어 언어 모델이 문법을 이해하는 데서의 강점과 약점을 드러내는 벤치마크를 제공하는 것이다. NorBERT 3 large는 NoCoLA class에서 가장 높은 정확도(82.48%)와 60.96%의 MCC를 기록했으며, 더 작은 모델인 NorBERT 1은 제로샷 작업에서 더 큰 모델들을 뛰어넘는 성능을 보였다.

ABSTRACT

While there has been a surge of large language models for Norwegian in recent years, we lack any tool to evaluate their understanding of grammaticality. We present two new Norwegian datasets for this task. NoCoLA_class is a supervised binary classification task where the goal is to discriminate between acceptable and non-acceptable sentences. On the other hand, NoCoLA_zero is a purely diagnostic task for evaluating the grammatical judgement of a language model in a completely zero-shot manner, i.e. without any further training. In this paper, we describe both datasets in detail, show how to use them for different flavors of language models, and conduct a comparative study of the existing Norwegian language models.

연구 동기 및 목표

• 노르웨이어 언어 모델의 문법 이해도를 평가하기 위한 표준화된 도구 부족 문제를 해결하기 위해.
• 인위적으로 구성된 예시가 아니라 제2외국어 학습자들로부터 유래한 자연스러운 오류를 반영하는 언어학적으로 기반을 둔 데이터셋을 만들기 위해.
• 노르웨이어 언어 모델의 피지컬 분류 및 제로샷 진단 평가를 모두 가능하게 하기 위해.
• 특정 오류 유형(예: 형태소, 어휘 선택, 사격 일치 등)에서 모델의 약점을 식별할 수 있는 벤치마크를 제공하기 위해.
• 향후 노르웨이어 NLP 모델의 평가 및 개발을 지원하기 위해 데이터와 코드를 공개하기 위해.

제안 방법

• NoCoLA class는 10,600개의 문장을 수용하고, 이는 수용 가능하고 비수용 가능한 문장으로 분할되어 있어 언어 모델의 감독 학습을 위한 이진 분류 데이터셋이다.
• NoCoLA zero는 최소한의 쌍문장(한 문장은 정확하고, 다른 문장은 잘못된)을 사용하여 모델이 두 문장에 대해 확률을 할당하도록 하여 천재적 문법 판단 능력을 평가하는 제로샷 진단 작업이다.
• 이 데이터셋은 오류가 주석 처리된 학습자 코퍼스(예: SweLL)에서 유래하였으며, 어휘 선택, 어형 변화, 문법적 오류와 같은 자연스러운 오류를 중심으로 구성된다.
• 평가에는 표준 지표를 사용한다: NoCoLA class의 정확도와 Matthews 상관계수(MCC), NoCoLA zero의 제로샷 정확도.
• 마스크된 언어 모델의 경우 문장의 확률을 추정하기 위해 가짜 로그우도(PLL)가 사용된다: $\textrm{PLL}(\bm{s}) = \frac{1}{N}\sum_{t=1}^{N}{\textrm{log}\,p(\bm{s}_{t}|\bm{s}_{\setminus t};\theta)}$.
• 오류 유형별로 모델을 평가하여 특정 언어 현상에서의 모델 성능에 대한 세밀한 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 기존의 노르웨이어 언어 모델들이 Bokmål에서 수용 가능한 문장과 비수용 가능한 문장을 얼마나 잘 구분하는가?
• RQ2 NoCoLA zero에서의 제로샷 성능은 감독 학습 분류 성능보다 더 신뢰할 수 있는 천재적 문법 이해도 측정 방법인가?
• RQ3 어느 오류 유형(예: 어휘 선택, 어형 변화, 사격 일치 등)이 현재의 노르웨이어 언어 모델에서 특정한 약점을 드러내는가?
• RQ4 모델 크기와 수용 가능성 판단 작업 성능 간의 상관관계는 어떠한가?
• RQ5 NoCoLA는 향후 노르웨이어 NLP 모델의 개발 및 평가를 위한 표준화된 벤치마크로 기능할 수 있는가?

주요 결과

• NorBERT 3 large는 NoCoLA class에서 82.48%의 정확도를 기록했으며, Matthews 상관계수는 60.96%로, 이는 분류 작업에서 뛰어난 성능을 의미한다.
• 놀랍게도, NorBERT 1은 NoCoLA zero에서 더 큰 모델들을 뛰어넘는 성능을 보였으며, 90%의 정확도를 기록하여 더 작은, 더 깔끔한 사전학습 코퍼스가 제로샷 문법 판단 능력을 향상시킬 수 있음을 시사한다.
• 모델 크기가 증가한다고 해서 항상 제로샷 성능이 향상되는 것은 아니며, 이는 파rameter 수만으로는 더 나은 문법 이해도를 보장하지 못함을 시사한다.
• NB-BERT large 모델은 구두점 오류 처리에서 특히 약점을 보였는데, 이는 케이스를 구분하지 않는 학습 데이터로 인해 사례 민감도에 영향을 받기 때문이다.
• ScandiBERT는 대부분의 오류 유형에서 노르웨이어 전용 모델과 유사한 성능을 보였지만, 철자 오류 처리에서는 뚜렷하게 열등했으며, 이는 도메인 특화 제한성을 보여준다.
• 결과적으로 NoCoLA는 세밀한 오류 분석을 가능하게 하며, 특정 오류 유형에서 낮은 점수는 모델의 학습 데이터나 토크나이저 문제를 진단하는 지표로 기능한다.