[논문 리뷰] NILC-Metrix: assessing the complexity of written and spoken language in Brazilian Portuguese

Sidney Evaldo Leal, Magali Sanches Duran외 3명|arXiv (Cornell University)|2021. 12. 17.

Text Readability and Simplification인용 수 7

한 줄 요약

이 논문은 브라질 포르투갈어의 텍스트 복잡도를 평가하기 위해 논의, 심리언어학, 계산 언어학 분야에서 유래한 200개의 언어적 지표를 갖춘 공개된 계산 시스템인 NILC-Metrix를 소개한다. 이 프레임워크의 유용성을 세 가지 응용 사례를 통해 입증한다—어린이 자막과 학교 교과서 텍스트 비교, PorSimples 코퍼스의 복잡도 예측, 학교 학년 예측 모델링—다양한 언어 수준과 과제에서의 강건성을 입증한다.

ABSTRACT

This paper presents and makes publicly available the NILC-Metrix, a computational system comprising 200 metrics proposed in studies on discourse, psycholinguistics, cognitive and computational linguistics, to assess textual complexity in Brazilian Portuguese (BP). These metrics are relevant for descriptive analysis and the creation of computational models and can be used to extract information from various linguistic levels of written and spoken language. The metrics in NILC-Metrix were developed during the last 13 years, starting in 2008 with Coh-Metrix-Port, a tool developed within the scope of the PorSimples project. Coh-Metrix-Port adapted some metrics to BP from the Coh-Metrix tool that computes metrics related to cohesion and coherence of texts in English. After the end of PorSimples in 2010, new metrics were added to the initial 48 metrics of Coh-Metrix-Port. Given the large number of metrics, we present them following an organisation similar to the metrics of Coh-Metrix v3.0 to facilitate comparisons made with metrics in Portuguese and English. In this paper, we illustrate the potential of NILC-Metrix by presenting three applications: (i) a descriptive analysis of the differences between children's film subtitles and texts written for Elementary School I and II (Final Years); (ii) a new predictor of textual complexity for the corpus of original and simplified texts of the PorSimples project; (iii) a complexity prediction model for school grades, using transcripts of children's story narratives told by teenagers. For each application, we evaluate which groups of metrics are more discriminative, showing their contribution for each task.

연구 동기 및 목표

• 브라질 포르투갈어의 텍스트 복잡도를 평가하기 위한 종합적이고 공개 가능한 언어적 지표 체계를 개발하기 위해.
• Coh-Metrix와 같은 영어 기반 도구에서 유래한 지표들을 브라질 포르투갈어 환경에 맞게 확장 및 적응시켜 이질적 언어 간 비교 가능성을 확보하기 위해.
• 다양한 언어 수준에서 구어 및 문어 언어의술적 분석 및 계산 모델링을 지원하기 위해.
• 텍스트 단순화 및 교육적 텍스트 복잡도 예측과 같은 실제 NLP 응용 분야에서 지표 세트의 유용성을 검증하기 위해.
• 코드, 데이터셋, 지표 구현 및 확장이 가능한 모듈러 프레임워크를 공개하여 향후 연구를 지원하기 위해.

제안 방법

• PorSimples 프로젝트 및 후속 연구에서 개발된 200개의 지표를 재구성하고 재구현하였으며, 이는 공명, 일관성, 어휘, 문법, 의미적 특성 등을 포함한다.
• Coh-Metrix v3.0의 구조에 따라 지표를 정리하여 기존 영어 기반 도구와의 일관성과 비교 가능성을 확보하였다.
• LX-Parser, MaltParser, Palavras를 사용한 문법 분석 및 LSA 기반 방법을 활용한 의미적 공명 지표 계산에 NLP 도구를 활용하였다.
• 세 가지 다른 과제에서 지표 특징을 사용해 텍스트 복잡도를 예측하기 위해 전통적인 기계학습 분류기들을 적용하였다.
• 아이디어 밀도 및 어휘 타이트함과 같은 새로운 지표를 구현하였으며, POeTiSA 프로젝트의 강력한 구문 분석 모델을 활용한 통합 계획이 수립되어 있다.
• 어린이 서사문 및 단순화된 텍스트를 포함한 다양한 텍스트 유형과 복잡도 수준에서 지표 집단의 분류 능력을 평가하였다.

실험 결과

연구 질문

• RQ1 브라질 포르투갈어에서 어린이 영화 자막과 학교 수준의 문장 텍스트를 구분하는 데 가장 효과적인 언어적 지표 그룹은 무엇인가?
• RQ2 NILC-Metrix 지표는 PorSimples 코퍼스의 원본 및 단순화된 버전의 텍스트 복잡도를 얼마나 잘 예측할 수 있는가?
• RQ3 청소년의 구어 서사문에서 NILC-Metrix 지표 기반 모델이 학교 학년 수준을 성공적으로 예측할 수 있는가?
• RQ4 어휘, 문법, 공명, 의미적 수준 등의 다양한 언어 수준이 다양한 텍스트 유형에서 복잡도 구분에 얼마나 기여하는가?
• RQ5 강력한 구문 분석 모델의 통합은 브라질 포르투갈어에서 아이디어 밀도 및 시간적 공명과 같은 지표의 신뢰성과 일반화 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• NILC-Metrix 시스템은 어린이 영화 자막과 학교 텍스트 간의 복잡도 차이를 성공적으로 포착하였으며, 어휘 및 공명 지표가 강력한 분류 능력을 보였다.
• PorSimples 코퍼스의 텍스트 복잡도를 예측하는 새로운 예측기에서 문법적 및 어휘적 지표의 조합을 통해 높은 정확도를 달성하여, 시스템의 텍스트 단순화 평가 유용성을 입증하였다.
• 청소년 서술문의 구어 전사본을 기반으로 한 학교 학년 예측 모델은 높은 성능을 보였으며, 특히 의미적 및 공명 지표가 정보량이 많았다.
• 어휘 다양성, 문장 길이, 공명(특히 연결어 및 어휘어휘 연관성)과 관련된 지표는 세 응용 사례 전반에서 일관되게 가장 분류 능력이 높은 것으로 나타났다.
• 향후 버전에서 POeTiSA 프로젝트의 강력한 구문 분석 모델 통합을 통해 아이디어 밀도 및 시간적 공명과 같은 지표의 신뢰성을 향상시킬 것으로 기대된다.
• AGPLv3 라이선스 하에 코드와 데이터셋을 공개함으로써 재현 가능성이 보장되고, 브라질 포르투갈어의 계산 언어학 및 NLP 분야의 향후 연구를 촉진할 수 있다.