[논문 리뷰] Monolingual and Cross-Lingual Acceptability Judgments with the Italian CoLA corpus

Daniela Trotta, Raffaele Guarasci외 2명|arXiv (Cornell University)|2021. 09. 24.

Natural Language Processing Techniques참고 문헌 53인용 수 27

한 줄 요약

이 논문은 영어 CoLA와 동일한 방법론을 사용해 개발된 10,000개 문장의 이탈리아어 수용성 평가 자료인 ItaCoLA를 소개한다. 이 자료는 이중 수용성 평가와 함께 9개의 언어현상에 대한 추가 표시를 포함한다. 다국어 BERT 모델이 다국어 XLM-RoBERTa보다 수용성 분류에서 더 뛰어난 성능을 보이며, 다국어 간 미세조정은 낮은 성능에도 불구하고 잠재력을 보여준다.

ABSTRACT

The development of automated approaches to linguistic acceptability has been greatly fostered by the availability of the English CoLA corpus, which has also been included in the widely used GLUE benchmark. However, this kind of research for languages other than English, as well as the analysis of cross-lingual approaches, has been hindered by the lack of resources with a comparable size in other languages. We have therefore developed the ItaCoLA corpus, containing almost 10,000 sentences with acceptability judgments, which has been created following the same approach and the same steps as the English one. In this paper we describe the corpus creation, we detail its content, and we present the first experiments on this new resource. We compare in-domain and out-of-domain classification, and perform a specific evaluation of nine linguistic phenomena. We also present the first cross-lingual experiments, aimed at assessing whether multilingual transformerbased approaches can benefit from using sentences in two languages during fine-tuning.

연구 동기 및 목표

• 이탈리아어 및 기타 비영어 언어에 대해 대규모이고 고품질의 수용성 평가 자료가 부족한 문제를 해결하기 위해.
• 영어 CoLA를 모방해 표준화되고 방법론적으로 일관된 이탈리아어 수용성 언어학 자료를 구축하기 위해.
• BERT 기반 및 다국어 XLM-RoBERTa 모델을 사용해 단국어 및 다국어 분류 성능을 평가하기 위해.
• 수용성 평가에서 특정 언어학적 현상에 대한 세밀한 분석을 가능하게 하기 위해.

제안 방법

• ItaCoLA 자료는 기존 언어학 문헌에서 10,000개 문장을 추출하여 전문 언어학자들이 수용성 평가를 부여함으로써 제작되었다.
• 문장의 30%에 해당하는 부분집합이 wh-섬애니, 보조동사 위반, 수식어 구조 등 9개의 언어학적 현상으로 수동으로 표시되었다.
• 단국어 분류 작업은 ItaCoLA 학습 데이터에 맞추어 미세조정된 BERT 기반 분류기로 수행되었다.
• 다국어 실험은 XLM-RoBERTa-base를 사용하였으며, 영어 CoLA와 이탈리아어 ItaCoLA 학습 데이터를 함께 미세조정하였다.
• 모델 성능 평가는 Matthews 상관계수(MCC)를 사용하였으며, 도메인 내 및 도메인 외 테스트 세트를 활용하였다.
• 단국어 및 다국어 설정을 비교한 실험을 수행하였으며, 제로샷 다국어 추론도 포함되었다.

실험 결과

연구 질문

• RQ1 영어 CoLA와 동일한 방법론을 사용해 대규모 전문가가 표시한 이탈리아어 수용성 자료를 제작할 수 있는가?
• RQ2 ItaCoLA에서 단국어 BERT 기반 분류 성능은 영어 CoLA에서의 결과와 비교해 어떻게 되는가?
• RQ3 XLM-RoBERTa와 같은 다국어 모델이 영어 및 이탈리아어 수용성 데이터를 함께 미세조정함으로써 얼마나 유익한가?
• RQ4 문장의 복잡도—특히 한 문장에 여러 언어학적 현상이 포함된 경우—분류 성능에 어떤 영향을 미치는가?
• RQ5 영어에서 이탈리아어로의 다국어 전이 학습이 수용성 분류에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• ItaCoLA 자료는 도메인 내 테스트 세트에서 Matthews 상관계수(MCC) 0.517을 기록했으며, 영어 CoLA에서 BERT가 기록한 0.582 MCC와 유사한 성능을 보였다.
• ItaCoLA에서 단국어 BERT 모델은 다국어 XLM-RoBERTa보다 뛰어난 성능을 보였으며, 이탈리아어 테스트 세트에서 MCC 0.440을 기록했다.
• XLM-RoBERTa를 사용한 다국어 제로샷 추론은 성능이 열악했으며, 영어 및 이탈리아어 테스트 세트에서 모두 MCC 0.114를 기록했다.
• 여러 현상이 표시된 문장에서는 성능이 크게 떨어졌는데, 단일 현상 문장의 MCC 0.363 ± 0.021에서 다중 현상 문장의 MCC 0.308 ± 0.041로 감소했다.
• 특정 현상에 대해 가장 좋은 성능를 기록한 것은 Wh-섬애니와 보조동사 위반으로, 수식어 구조와 간단한 문장은 낮은 성능을 보였다.
• 오직 이탈리아어 서브셋에 대해 미세조정한 결과 MCC 0.440을 기록했으며, 제로샷 다국어 추론보다는 우수했지만, 영어에서의 단국어 BERT 성능에는 미치지 못했다.