[논문 리뷰] JCoLA: Japanese Corpus of Linguistic Acceptability

Taiga Someya, Yushi Sugimoto외 1명|arXiv (Cornell University)|2023. 09. 22.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 교과서, 수험서, 학술 논문에서 수작업으로 추출한 10,020개의 문장으로 구성된 일본어 어휘집 JCoLA를 소개한다. 이 어휘집은 이진 수용성 평가를 포함하며, 문장의 문법적 타당성에 대한 전문가의 판단을 반영한다. 9종의 일본어 언어 모델을 평가한 결과, 일부 모델은 도메인 내(간단한) 평가에서는 인간 수준을 초월하지만, 도메인 외(이론적으로 복잡한) 평가에서는 인간 수준에 도달하지 못하며, 특히 어근 일치와 NPI 라이선싱과 같은 장거리 문법적 의존성 문제에서 어려움을 겪는다.

ABSTRACT

Neural language models have exhibited outstanding performance in a range of downstream tasks. However, there is limited understanding regarding the extent to which these models internalize syntactic knowledge, so that various datasets have recently been constructed to facilitate syntactic evaluation of language models across languages. In this paper, we introduce JCoLA (Japanese Corpus of Linguistic Acceptability), which consists of 10,020 sentences annotated with binary acceptability judgments. Specifically, those sentences are manually extracted from linguistics textbooks, handbooks and journal articles, and split into in-domain data (86 %; relatively simple acceptability judgments extracted from textbooks and handbooks) and out-of-domain data (14 %; theoretically significant acceptability judgments extracted from journal articles), the latter of which is categorized by 12 linguistic phenomena. We then evaluate the syntactic knowledge of 9 different types of Japanese language models on JCoLA. The results demonstrated that several models could surpass human performance for the in-domain data, while no models were able to exceed human performance for the out-of-domain data. Error analyses by linguistic phenomena further revealed that although neural language models are adept at handling local syntactic dependencies like argument structure, their performance wanes when confronted with long-distance syntactic dependencies like verbal agreement and NPI licensing.

연구 동기 및 목표

• 일본어 언어 모델을 위한 종합적인 문법 평가 데이터셋 부족 문제를 해결하기 위해.
• 교과서 수준과 이론적으로 중요한 문법 현상 모두를 반영한 언어학적으로 엄밀한 수용성 평가 어휘집을 구축하기 위해.
• 이 새로운 기준에서 9종의 다양한 일본어 언어 모델의 문법 지식을 평가하기 위해.
• 신경망 모델의 체계적인 약점을 특정하기 위해, 특히 장거리 문법적 의존성에 초점을 맞추기 위해.

제안 방법

• 어휘집은 언어학 교과서, 수험서, 학술 논문에서 수작업으로 10,020개의 문장을 추출하여 구축되었다.
• 문장들은 도메인 내(86%)와 도메인 외(14%)로 분할되었으며, 도메인 외 데이터는 12개의 언어학적 현상으로 분류되었다.
• 각 문장에 대해 전문 언어학자들이 이진 수용성 평가를 수행하였다.
• 9종의 다양한 사전 학습된 일본어 언어 모델을 JCoLA 기준에서 미세조정하고 평가하였다.
• 성능은 수용성 예측 정확도로 측정되었으며, 오류 분석은 언어학적 현상별로 계층화되었다.
• 연구는 모델 성능을 인간 평가와 비교하였으며, 특히 도메인 내와 도메인 외 데이터 간의 차이에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 일본어 언어 모델은 더 단순한 교과서 수준의 문법 현상에 대해 인간 수준 또는 그 이상의 성능을 달성할 수 있는가?
• RQ2 일본어 언어 모델은 학술 문헌에서 발견되는 더 복잡하고 이론적으로 중요한 문법 현상으로 일반화할 수 있는가?
• RQ3 현재 신경망 언어 모델이 일본어에서 가장 도전적인 언어학적 현상은 무엇인가?
• RQ4 언어 모델이 어근 일치와 NPI 라이선싱과 같은 장거리 문법적 의존성을 어느 정도 정확히 포착하는가?
• RQ5 학습 데이터에 포함된 언어학적 현상의 분포가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 일부 언어 모델이 JCoLA의 도메인 내 부분, 즉 교과서와 수험서에서 유래한 더 단순한 수용성 평가에서 인간 성능을 초월하였다.
• 도메인 외 부분, 즉 학술 논문에서 유래한 이론적으로 중요한 평가에서는 어떤 모델도 인간 성능을 초월하지 못했다.
• 문장 내 국소적 문법적 의존성, 예를 들어 목적어 구조와 메타포 껍질-공백 현상 등 짧은 거리의 의존성 문제에서는 뛰어난 성능을 보였다.
• 장거리 의존성 문제에서는 성능이 크게 떨어졌으며, 특히 어근 일치와 NPI/NCI 라이선싱과 같은 문제는 문장 전체에 걸쳐 문법적 특징을 추적해야 하므로 어려움을 겪었다.
• 결합성에서의 높은 정확도는 이 카테고리에 대해 수용 가능한 예제 비율이 매우 높았기 때문이므로(93.1%), 데이터 불균형이 성능에 영향을 미쳤다는 것을 시사한다.
• JCoLA에서 언어학적 현상의 분포가 비대칭적이며, 일부 현상에 대해 약 10개의 문장밖에 없어 모델 일반화와 신뢰할 수 있는 평가에 제약가 있다.